Crawler：反爬蟲機制之基于urllib庫+偽裝瀏覽器+代理訪問(代理地址隨機選取)+實現(xiàn)下載某網(wǎng)址上所有的圖片到指定文件夾

導讀
基于反爬蟲機制之基于urllib庫+偽裝瀏覽器+代理訪問(代理地址隨機選取)+實現(xiàn)下載某網(wǎng)址上所有的圖片到指定文件夾

?

?

目錄

輸出結果

實現(xiàn)代碼

---

?

?

?

輸出結果

后期更新……

?

?

實現(xiàn)代碼

#Py之Crawler：爬蟲利用隨機選取代理訪問服務器的方法實現(xiàn)下載某網(wǎng)址上所有的圖片到指定文件夾 import urllib.request import os import randomdef open_url(url):req=urllib.request.Request(url) req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.2.1.17116")proxy_support = urllib.request.ProxyHandler({'http':random.choice(proxies)})opener = urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener) response=urllib.request.urlopen(url) html=response.read()return htmldef get_page(url):html=open_url(url).decode("utf-8") a=html.find('current-comment-page')+23 b=html.find(']',a) print(html[a:b]) return html[a:b]def find_imgs(url):html=open_url(url).decode("utf-8") img_addrs = []a=html.find("img src=")while a!= -1:b=html.find(".jpg",a,a+255) if b!=-1:img_addres.append(html[a+9:b+4])else:b=a+9a=html.find("img src=",b) return img_addrs def save_imgs(folder, img_addrs): for each in img_addrs: filename = each.split('/')[-1]with open(filename,'wb') as f: img = open_url('http:' + each) f.write(img) def download_mm(folder="imgfile",pages=10):os.mkdir(folder)os.chdir(folder)url="http://jandan.net/ooxx/"page_num=int(get_page(url)) for i in range(pages):page_num -= i page_url = url+"page"+str(page_num)+"#comments" img_addres = find_imgs(page_url) save_imgs(folder,img_addres)# if __name__=="__main__": # download_mm() download_mm()

?

相關文章
Py之Crawler：爬蟲利用隨機選取代理訪問服務器的方法實現(xiàn)下載某網(wǎng)址上所有的圖片到指定文件夾

?

?

?

總結

以上是生活随笔為你收集整理的Crawler：反爬虫机制之基于urllib库+伪装浏览器+代理访问(代理地址随机选取)+实现下载某网址上所有的图片到指定文件夹的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。