利用python爬取淘宝的商品图片
生活随笔
收集整理的這篇文章主要介紹了
利用python爬取淘宝的商品图片
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
代碼
from selenium import webdriver from selenium.webdriver.common import keys import time import requests import random# 創建瀏覽器 def functions():browser = webdriver.Chrome(r'G:\taobao\chromedriver.exe')# 讓瀏覽器打開淘寶browser.get("https://www.taobao.com/")# 找到搜索框輸入內容并搜索browser.find_element_by_xpath('//*[@id="q"]').send_keys("便攜果汁杯", keys.Keys.ENTER)time.sleep(1)# 切換成二維碼登錄browser.find_element_by_xpath('//*[@id="login"]/div[1]/i').click()# 判斷當前頁面是否為登錄頁面while browser.current_url.startswith("https://login.taobao.com/"):print("等待用戶輸入")time.sleep(1)print("登錄成功!!!")n = 1count = 1while True:items = browser.find_elements_by_css_selector('.m-itemlist .items > div')for item in items:# 獲取這張圖片的下載地址img = item.find_element_by_css_selector(".pic-box .pic img").get_attribute("data-src")# 拼接完成的下載地址img_url = "http:" + img# print(img_url)# 通過requests下載這張圖片sleep_time = random.random()*10time.sleep(sleep_time)# 文件夾需要手動創建好file = open(f"G:\\果汁杯-淘寶\\{n}.jpg", "wb")file.write(requests.get(img_url).content)print("下載圖片" + str(n))n += 1# 翻頁操作browser.find_element_by_css_selector('.wraper:nth-last-child(1) .next > a').click()time.sleep(2)count += 1# 爬取 4 頁內容if count == 6:# file.close()break# 關閉瀏覽器browser.quit()if __name__ == '__main__':functions()下載Chromedriver
淘寶本身是有反爬蟲機制的,需要使用到瀏覽器進行模擬人工爬取數據。
下載地址:http://npm.taobao.org/mirrors/chromedriver/86.0.4240.22/
將下載好的壓縮包解壓到你想要的某個文件夾中,并替換掉一下路徑即可
之后運行腳本即可
原參考網址
總結
以上是生活随笔為你收集整理的利用python爬取淘宝的商品图片的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网站建设合同案例——知化园公司网站建设合
- 下一篇: 软件工程应用与实践(2)——知识图谱树形