在爬取boss直聘時(shí)出現(xiàn)這種錯(cuò)誤，于是搜索了網(wǎng)上很多文章，總結(jié)如下：

1.http連接太多沒(méi)有關(guān)閉導(dǎo)致的，解決方法：

import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重連次數(shù) s = requests.session() s.keep_alive = False # 關(guān)閉多余連接 s.get(url) # 你需要的網(wǎng)址

2.訪問(wèn)次數(shù)頻繁，被禁止訪問(wèn)，解決方法：使用代理

import requests s = requests.session() url = "https://mail.163.com/" s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", } s.headers = header s.get(url)

查找代理的網(wǎng)址：http://ip.zdaye.com/shanghai_ip.html#Free
使用代理時(shí)需注意：

代理分為http和https兩種，不能用混，如果把http的代理用作https也是會(huì)報(bào)上面的錯(cuò)誤;

上面的代理以字典格式傳入，例如上面的例子，可以是“47.100.104.247:8080”這種格式，也可以是“https://47.100.104.247:8080”這種格式；

如果代理不可用一樣會(huì)報(bào)上面的錯(cuò)誤。

以下方法判斷代理是否可用：

import requests s = requests.session() url = "https://mail.163.com/" s.keep_alive = False s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", } s.headers = header r = s.get(url) print r.status_code # 如果代理可用則正常訪問(wèn)，不可用報(bào)以上錯(cuò)誤

?

總結(jié)

以上是生活随笔為你收集整理的Max retries exceeded with url的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。