使用教程點(diǎn)擊這里下載下載chrome瀏覽器

查看chrome瀏覽器的版本號，點(diǎn)擊這里下載對應(yīng)版本號的chromedriver驅(qū)動(dòng)

pip安裝下列包pip install selenium

pip install pyquery

點(diǎn)擊這里登錄微博，并通過微博綁定淘寶賬號密碼

在main中填寫chromedriver的絕對路徑

在main中填寫微博賬號密碼

#改成你的chromedriver的完整路徑地址

chromedriver_path = "/Users/bird/Desktop/chromedriver.exe"

#改成你的微博賬號

weibo_username = "改成你的微博賬號"

#改成你的微博密碼

weibo_password = "改成你的微博密碼"

演示圖片

# -*- coding: utf-8 -*-

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver import ActionChains

from pyquery import PyQuery as pq

from time import sleep

#定義一個(gè)taobao類

class taobao_infos:

#對象初始化

def __init__(self):

url = 'https://login.taobao.com/member/login.jhtml'

self.url = url

options = webdriver.ChromeOptions()

options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) # 不加載圖片,加快訪問速度

options.add_experimental_option('excludeSwitches', ['enable-automation']) # 此步驟很重要，設(shè)置為開發(fā)者模式，防止被各大網(wǎng)站識別出來使用了Selenium

self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)

self.wait = WebDriverWait(self.browser, 10) #超時(shí)時(shí)長為10s

#延時(shí)操作,并可選擇是否彈出窗口提示

def sleep_and_alert(self,sec,message,is_alert):

for second in range(sec):

if(is_alert):

alert = "alert(\"" + message + ":" + str(sec - second) + "秒\")"

self.browser.execute_script(alert)

al = self.browser.switch_to.alert

sleep(1)

al.accept()

else:

sleep(1)

#登錄淘寶

def login(self):

# 打開網(wǎng)頁

self.browser.get(self.url)

# 自適應(yīng)等待，點(diǎn)擊密碼登錄選項(xiàng)

self.browser.implicitly_wait(30) #智能等待，直到網(wǎng)頁加載完畢，最長等待時(shí)間為30s

self.browser.find_element_by_xpath('//*[@class="forget-pwd J_Quick2Static"]').click()

# 自適應(yīng)等待，點(diǎn)擊微博登錄宣傳

self.browser.implicitly_wait(30)

self.browser.find_element_by_xpath('//*[@class="weibo-login"]').click()

# 自適應(yīng)等待，輸入微博賬號

self.browser.implicitly_wait(30)

self.browser.find_element_by_name('username').send_keys(weibo_username)

# 自適應(yīng)等待，輸入微博密碼

self.browser.implicitly_wait(30)

self.browser.find_element_by_name('password').send_keys(weibo_password)

# 自適應(yīng)等待，點(diǎn)擊確認(rèn)登錄按鈕

self.browser.implicitly_wait(30)

self.browser.find_element_by_xpath('//*[@class="btn_tip"]/a/span').click()

# 直到獲取到淘寶會(huì)員昵稱才能確定是登錄成功

taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))

# 輸出淘寶昵稱

print(taobao_name.text)

# 獲取天貓商品總共的頁數(shù)

def search_toal_page(self):

# 等待本頁面全部天貓商品數(shù)據(jù)加載完畢

good_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_ItemList > div.product > div.product-iWrap')))

#獲取天貓商品總共頁數(shù)

number_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form')))

page_total = number_total.text.replace("共","").replace("頁，到第頁 確定","").replace("，","")

return page_total

# 翻頁操作

def next_page(self, page_number):

# 等待該頁面input輸入框加載完畢

input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo')))

# 等待該頁面的確定按鈕加載完畢

submit = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > button.ui-btn-s')))

# 清除里面的數(shù)字

input.clear()

# 重新輸入數(shù)字

input.send_keys(page_number)

# 強(qiáng)制延遲1秒，防止被識別成機(jī)器人

sleep(1)

# 點(diǎn)擊確定按鈕

submit.click()

# 模擬向下滑動(dòng)瀏覽

def swipe_down(self,second):

for i in range(int(second/0.1)):

js = "var q=document.documentElement.scrollTop=" + str(300+200*i)

self.browser.execute_script(js)

sleep(0.1)

js = "var q=document.documentElement.scrollTop=100000"

self.browser.execute_script(js)

sleep(0.2)

# 爬取天貓商品數(shù)據(jù)

def crawl_good_data(self):

# 對天貓商品數(shù)據(jù)進(jìn)行爬蟲

self.browser.get("https://list.tmall.com/search_product.htm?q=羽毛球")

# 獲取天貓商品總共的頁數(shù)

page_total = self.search_toal_page()

print("總共頁數(shù)" + page_total)

# 遍歷所有頁數(shù)

for page in range(2,int(page_total)):

# 等待該頁面全部商品數(shù)據(jù)加載完畢

good_total = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_ItemList > div.product > div.product-iWrap')))

# 等待該頁面input輸入框加載完畢

input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.ui-page > div.ui-page-wrap > b.ui-page-skip > form > input.ui-page-skipTo')))

# 獲取當(dāng)前頁

now_page = input.get_attribute('value')

print("當(dāng)前頁數(shù)" + now_page + ",總共頁數(shù)" + page_total)

# 獲取本頁面源代碼

html = self.browser.page_source

# pq模塊解析網(wǎng)頁源代碼

doc = pq(html)

# 存儲(chǔ)天貓商品數(shù)據(jù)

good_items = doc('#J_ItemList .product').items()

# 遍歷該頁的所有商品

for item in good_items:

good_title = item.find('.productTitle').text().replace('\n',"").replace('\r',"")

good_status = item.find('.productStatus').text().replace(" ","").replace("筆","").replace('\n',"").replace('\r',"")

good_price = item.find('.productPrice').text().replace("￥", "").replace(" ", "").replace('\n', "").replace('\r', "")

good_url = item.find('.productImg').attr('href')

print(good_title + " " + good_status + " " + good_price + " " + good_url + '\n')

# 精髓之處，大部分人被檢測為機(jī)器人就是因?yàn)檫M(jìn)一步模擬人工操作

# 模擬人工向下瀏覽商品，即進(jìn)行模擬下滑操作，防止被識別出是機(jī)器人

self.swipe_down(2)

# 翻頁，下一頁

self.next_page(page)

# 等待滑動(dòng)驗(yàn)證碼出現(xiàn),超時(shí)時(shí)間為5秒，每0.5秒檢查一次

# 大部分情況不會(huì)出現(xiàn)滑動(dòng)驗(yàn)證碼，所以如果有需要可以注釋掉下面的代碼

# sleep(5)

WebDriverWait(self.browser, 5, 0.5).until(EC.presence_of_element_located((By.ID, "nc_1_n1z"))) #等待滑動(dòng)拖動(dòng)控件出現(xiàn)

try:

swipe_button = self.browser.find_element_by_id('nc_1_n1z') #獲取滑動(dòng)拖動(dòng)控件

#模擬拽托

action = ActionChains(self.browser) # 實(shí)例化一個(gè)action對象

action.click_and_hold(swipe_button).perform() # perform()用來執(zhí)行ActionChains中存儲(chǔ)的行為

action.reset_actions()

action.move_by_offset(580, 0).perform() # 移動(dòng)滑塊

except Exception as e:

print ('get button failed: ', e)

if __name__ == "__main__":

# 使用之前請先查看當(dāng)前目錄下的使用說明文件README.MD

# 使用之前請先查看當(dāng)前目錄下的使用說明文件README.MD

# 使用之前請先查看當(dāng)前目錄下的使用說明文件README.MD

chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的chromedriver的完整路徑地址

weibo_username = "改成你的微博賬號" #改成你的微博賬號

weibo_password = "改成你的微博密碼" #改成你的微博密碼

a = taobao_infos()

a.login() #登錄

a.crawl_good_data() #爬取天貓商品數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的python爬取天猫_Python爬取天猫商品数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。