世界那么大,我想去看看。相信每到暑假期間,就會有很多人都想去旅游。但是去哪里玩，沒有攻略這又是個問題。這次作者給大家帶來的是爬取去哪網自由行數據。先來講解一下大概思路，我們去一個城市旅行必定有一個出發地，然后有一個目的地，再然后我們就會搜尋當地的名勝然后選擇一條路線。這個就是我們旅行開始之前的準備過程。沒有這些，我們的旅行就不能開始。所以這次這個案例的目的就是獲取去哪兒網上所有自由行的出發城市，然后獲取該出發城市能到達的城市，再獲得該目的城市所有的旅行產品。好了，是不是很簡單。有了大體的思路，再去實現一個源碼就不是難事了。作者在這里用的是Python來實現的，用的庫為request庫，將數據抓取下后再保存到MongoDB數據庫。我們先看一下抓取后的結果。

控制臺輸出結果

保存到MongoDB數據庫，目前數據庫有5萬多條自由行數據。

1.訪問站點解析數據

此次我們訪問去哪兒站點的url為“http://touch.qunar.com”這個網址是去哪兒的移動端，因為它返回的數據是JSON格式，JSON格式數據比較容易處理，所以我們以后在數據采集的時候，可以優先選擇JSON數據。我們用瀏覽器訪問該URL，然后選擇自由行這一欄。如下圖所示。

我們單擊左側的出發地站點，如下圖所示。

打開開發者工具，選中XHR，我們可以從源碼中看到全國各個出發地站點根據字母排序。如下圖所示。

然后切換到Headers頁面，觀察Request URL和Request Method。如下圖所示。

此時的目標URL為"https://touch.dujia.qunar.com/depCities.qunar"。

我們再點擊自由行的搜索框，從這里我們可以搜索我們想去的城市。

我們可以從開發者工具中Headers中看到一個請求鏈接,其中“dep”表示我們出發的城市，由于服務器不能識別中文字符，所以“dep”后面是經某種編碼方式編譯后才提交給服務器的。這也就是我們看到的一串文字，所以我們可以通過更改dep的值來選擇任意一個城市作為我們的出發地。

我們隨機選擇一個想去的城市，小編在這里選擇的是麗江，打開開發者工具。

我們可以看到其中的請求鏈接為

"https://touch.dujia.qunar.com/list?modules=list%2CbookingInfo%2CactivityDetail&dep=%E6%B7%B1%E5%9C%B3&query=%E4%B8%BD%E6%B1%9F%E8%87%AA%E7%94%B1%E8%A1%8C&dappDealTrace=false&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=FreetripTouchin&date=&configDepNew=&needNoResult=true&originalquery=%E4%B8%BD%E6%B1%9F%E8%87%AA%E7%94%B1%E8%A1%8C&limit=0,28&includeAD=true&qsact=search"。

其中"dep="后面是出發城市，"query="后面是目的城市，"originalquery="后面是目的城市。從這個鏈接我們可以獲取到該自由行線路的所有產品，并且分析其JSON文件就可以獲得自由行產品信息。到此我們我們已經獲得了一條線路的所有產品了,那我們獲取所有城市之間的自由行產品就很容易了。因為之前我們已經拿到了所有出發城市和目的城市的列表了。到此所有的分析都已經完成，我們可以用代碼來實現了。

2.源碼實現

3.結語

相信讀者看到這里，已經了解了本篇爬蟲的思路了，因為去哪兒網服務器后臺有較強的識別爬蟲的能力。代碼中作者也給出了一些反反爬的策略。最簡單的方式就是犧牲爬取的速度。如果不想犧牲速度可以加上ip代理池和cookie池或者采取一些其它的爬取策略，隔一段時間就換下ip和當前cookie的值。有興趣的讀者和想挑戰下的讀者可以嘗試下。

本案例源碼:

如果覺得好的話，可以在GitHub上給個Star。小編會在公眾號每天分享一些好玩的爬蟲和算法源碼。

對爬蟲，數據分析，算法感興趣的朋友們，可以加微信公眾號 TWcoding，我們一起玩轉Python。

If it works for you.Please,star.

轉載請注明出處，謝謝！

推薦閱讀：先生：Python爬蟲進階之去哪兒酒店(國內外)?zhuanlan.zhihu.com先生：爬取今日頭條NBA版塊?zhuanlan.zhihu.com

自助者，天助之

總結

以上是生活随笔為你收集整理的python爬虫去哪儿网_大型爬虫案例：爬取去哪儿网的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。