Crawler:反爬虫之基于urllib库+伪装浏览器方式实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上
生活随笔
收集整理的這篇文章主要介紹了
Crawler:反爬虫之基于urllib库+伪装浏览器方式实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Crawler:反爬蟲之基于urllib庫+偽裝瀏覽器方式實現從各種網站上(以百度貼吧為例)獲得你喜歡的照片下載到本地電腦上
?
?
目錄
輸出結果
實現代碼
?
?
?
輸出結果
后期更新……
?
實現代碼
import?urllib.request<br>import?re import?osdef?open_url(url):req=urllib.request.Request(url)req.add_header("User-Agent",?"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.2.1.17116")page=urllib.request.urlopen(req)html=page.read().decode("utf-8")return?htmldef?get_img(html):p=r'<img class="BDE_Image" src="([^"]+\.jpg)"'imglist=re.findall(p,html)for?each?in?imglist:?print(each)for?each?in?imglist:filename=each.split("/")[-1]?urllib.request.urlretrieve(each, filename,None)if?__name__=="__mian__":url="http://tieba.baidu.com/p/3563409202"?get_img(open_url(url))????????????????????url="http://tieba.baidu.com/p/3563409202" get_img(open_url(url)) ???
相關文章
Py之Crawler:利用python的爬蟲功能實現從各種網站上(以百度貼吧為例)獲得你喜歡的照片下載到本地電腦上
?
?
?
總結
以上是生活随笔為你收集整理的Crawler:反爬虫之基于urllib库+伪装浏览器方式实现从各种网站上(以百度贴吧为例)获得你喜欢的照片下载到本地电脑上的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Crawler:基于urllib库+实现
- 下一篇: Crawler:基于urllib库获取c