知识点讲解一:代理ip中的proxies
生活随笔
收集整理的這篇文章主要介紹了
知识点讲解一:代理ip中的proxies
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
proxise
proxies的格式是一個(gè)字典:{‘http’: ‘http://42.84.226.65:8888‘}
有http與https兩種,在爬取不同網(wǎng)站時(shí)我們需要選用不同類型的網(wǎng)站時(shí)選用不同的proxise,在不知道網(wǎng)站類型時(shí)可以將兩種類型均放進(jìn)去,requests會(huì)自動(dòng)選擇合適的
proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080" }- http型:{‘http’: ‘http://42.84.226.65:8888‘}
- https型:{‘https’: ‘http://124.193.37.5:8888‘}
如果你是這樣的
proxies = {"http": "http://10.10.1.10:3128" }而你要爬的是https型網(wǎng)站
requests請(qǐng)求可以成功,但是請(qǐng)求使用的將會(huì)是你真實(shí)的ip地址
如果你是這樣的
proxies = {"https": "http://10.10.1.10:1080" }而你要爬的是http型網(wǎng)站
你的requests也可以成功,但是使用的還是你真實(shí)的ip地址
只有當(dāng)你的proxies類型與你想訪問的網(wǎng)站類型相同,代理ip才會(huì)起作用
可以用以下代碼檢驗(yàn)?zāi)愕拇韎p是否成功啟用
訪問 http://icanhazip.com/(https://icanhazip.com/) 可以得到你訪問時(shí)的ip地址
判斷代理是否有效的方法
import telnetlibtry:telnetlib.Telnet('10.10.1.10', port='1080', timeout=3) except:print('ip無效!') else:print('ip有效!')總結(jié)
以上是生活随笔為你收集整理的知识点讲解一:代理ip中的proxies的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 分隔百度百科中的名人信息与非名人信息
- 下一篇: 知识点讲解二:关于requests里的t