新版的 python 把 urllib2 改成了 urllib.request，所以直接導入 urllib2 會報錯。
這是我通過 chrome92 版本的瀏覽器發送請求的時候抓到的頭部信息，只要我在發送請求時引用一個 User-Agent 信息就可以了。

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9

訪問的是 淘寶的 python 安裝包鏡像。
沒有偽裝瀏覽器，在訪問一定次數后就訪問不了了，偽裝后就沒有限制了。

import urllib.request as urllib2headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } url = "http://npm.taobao.org/mirrors/python/" request = urllib2.Request(url, headers=headers) html_content = urllib2.urlopen(request).readlines()for i in html_content:i = str(i)if("href=" in i and ">" in i):a = i.index("href=");b = i.index(">");i = i[a+6:b-1]print(i)

爬取所有的 a 元素，并提取 href 里面的內容。

效果圖如下：

喜歡的點個贊?吧！

總結

以上是生活随笔為你收集整理的Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示，urllib2库的安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。