? ? ? 前兩天寫的花瓣網(wǎng)爬蟲，花瓣網(wǎng)是個瀑布式布局，而且下拉的時候發(fā)現(xiàn)要登錄帳號。本來以為要用requests.post模擬登錄，能夠順手練習(xí)一下的，結(jié)果不登陸帳號也照樣可以爬取。一開始是打算用selenium的，后來運行的過程中發(fā)現(xiàn)太慢了，遂改用requests庫。

import requests from requests.exceptions import RequestException import re import os from hashlib import md5 from multiprocessing.dummy import Pool as ThreadPooldef get_pictures(word, i):url = 'http://huaban.com/search/?q=' + word + '&page=' + str(i + 1) + '&per_page=20&wfl=1'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.34 ''40.84 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:html = response.text# 獲得圖片的keyre_key = re.compile('file\":.*?key\":\"(.*?)\"', re.S)key_list = re.findall(re_key, html)[1:21]for img in key_list:download_img(img)def download_img(img):url = 'http://img.hb.aicdn.com/' + imgprint('Downloding:', url)try:response = requests.get(url)if response.status_code == 200:save_image(response.content)except RequestException:print('Downloading Error!')def save_image(content):file_path = '{0}/{1}.jpg'.format('D:\\Flower', md5(content).hexdigest())if not os.path.exists(file_path):with open(file_path, 'wb') as f:f.write(content)def main(index):keyword = '寶兒姐'get_pictures(keyword, index)if __name__ == '__main__':# log_in()page = 5group = [x for x in range(0, page)]pool = ThreadPool(8)pool.map(main, group)pool.close()pool.join()

? ? ? 代碼量不多，邏輯也不復(fù)雜，主要的就是對花瓣網(wǎng)分析，抓取圖片的key并進行相應(yīng)處理。運行該爬蟲前先要建立相應(yīng)的文件夾。沒什么太難的地方，也就不多做分析了。如果想要詳細了解原理可以參考該博客：

? ? ??https://blog.csdn.net/coder_pig/article/details/79209418

?

總結(jié)

以上是生活随笔為你收集整理的Python爬虫练习之花瓣网的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。