攜程酒店評論爬蟲心得

發(fā)布時間：2018-09-02 15:58,

瀏覽次數(shù)：613

攜程酒店評論爬蟲心得

這次爬取數(shù)據(jù)，遇到了不少的困難，也走了很多彎路，特此寫下幫助記憶。以下基本是我爬取數(shù)據(jù)的過程，前半段是彎路，可直接繞過，后半段是解決方法。

打開攜程,南京YMCA酒店頁面，可以發(fā)現(xiàn)如下布局：

其中，酒店點評是我要找的內(nèi)容。

一般來說，抓取內(nèi)容采用 requests+xpath。如下：

import requests from lxml import etree url =

'http://hotels.ctrip.com/hotel/1678723.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_1'

s = requests.get(url).text #獲取網(wǎng)頁內(nèi)容 body = etree.HTML(s) #解析網(wǎng)頁，用于網(wǎng)頁各內(nèi)容的定位

#以用戶名來做實驗 user_name = body.xpath(

'//*[@id="divCtripComment"]/div[4]/div[12]/div[1]/p[2]/span/text())

print(user_name)

結(jié)果顯示正常，但是可以由圖1看到，酒店點評是進(jìn)行翻頁的，存在下一頁按鈕，以及頁碼搜索框等。

因此，如果要獲取不同頁面的內(nèi)容，需要有每一頁的索引。

但是此處，點擊下一頁，網(wǎng)頁的url不改變。

初步確定為”動態(tài)加載。

尋找url的過程比較長久。分別包含以下：

1. 關(guān)閉JavaScript，可以發(fā)現(xiàn)每一頁有一個獨(dú)立的url。

但是，將其按照上述方法執(zhí)行，結(jié)果仍然不是所要的。

2.獲取關(guān)于點評的網(wǎng)頁url

這個url是我的在無意中從別人的博客中獲取的【現(xiàn)在找不到了】，打開后，頁面上只存在酒店點評。一開始，我覺得頁面很干凈，而且鼠標(biāo)向下滑動的時候，會顯示”加載中“，每次增加十個評論。我試用了好多方法去解決”加載“問題，但是只顯示最新的十個結(jié)果。

* 構(gòu)建網(wǎng)頁的url url =

'http://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?' params =

headers = data = requests.get(url,headers = headers, params = params)

#headers可以看到 GET方式

此種方式，最終得到的內(nèi)容仍然為空。

4.根據(jù)preview

一博客上介紹可以看一下preview，觀察源代碼結(jié)構(gòu)后，結(jié)果仍然為空。并提示我“非法參數(shù)”。

5~.還有若干方法，若干博客，以及若干公眾號，我已經(jīng)不愿提起。。。。

最終詢問了大佬，大佬提及chromedriver，終于看到了曙光。本人電腦實在渣，加上網(wǎng)速慢，半小時才把【selenium，chromedriver】準(zhǔn)備妥當(dāng)。而且由于電腦一直提示不安全，某些鏈接無法選擇，過程特別慢。嚴(yán)重懷疑我之前的方法是不是不在于算法，而在于電腦問題。

下邊直接放代碼：

#計算運(yùn)行時間 import datetime starttime = datetime.datetime.now() #引入相關(guān)庫 from

seleniumimport webdriver from bs4 import BeautifulSoup import time #導(dǎo)入Keys

模塊[鍵盤] from selenium.webdriver.common.keys import Keys import csv #主體部分 url =

'http://hotels.ctrip.com/hotel/5311088.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_2'

browser = webdriver.Chrome('E:/chromedriver.exe') browser.get(url) #打開網(wǎng)頁 page =

1 with open('file.csv','w',encoding = 'utf-8') as f: while page < 5: html =

browser.page_source body = BeautifulSoup(html,"html.parser") user_list =

body.find('div',{"class":"comment_detail_list"}) #print(user_list) name_counter

=0 for user_info in user_list: n = page *(name_counter+1) print('第{}頁第{}個用戶'

.format(page,name_counter+1)) #獲取用戶名 user_name = user_info.find('p',{"class":

"name"}).find('span') if user_name is None: user_name = None else: user_name =

user_name#print(user_name.get_text()) #保存結(jié)果 f.write("{}\n".format(user_name))

name_counter +=1 print(name_counter) print('____________________-') page +=1

obj = page time.sleep(8) #執(zhí)行翻頁操作,搜索框輸入頁碼 input = browser.find_element_by_xpath(

"//input[@id='cPageNum']") input.clear() input.send_keys(obj)

input.send_keys(Keys.ENTER)

#以上各項指標(biāo)比較粗糙，因為擔(dān)心html的

等組件存在差異【其實，我看了一些確實有差異，所以才改成粗糙的獲取方式；注釋掉的print括號內(nèi)有些可能不正確，我也每檢查，反正后來不需要了。replace,strip等方法可以讓結(jié)果去除掉無用字符

#獲取結(jié)束時間 #long running endtime = datetime.datetime.now() print (endtime -

starttime).seconds

相關(guān)資源：

* python使用chrome driver做簡單爬蟲

* python selenium執(zhí)行翻頁

總結(jié)

以上是生活随笔為你收集整理的python携程酒店评论_携程酒店评论爬虫心得的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。