鑒于爬蟲初學者們，往往也是編程的初學者，我在這里介紹一套最常用的技術棧，不求多，只求精。

畢竟我們的目標是采集到數據，只要能夠成功實現目標的工具就是好工具。

爬蟲框架scrapy：該框架是scrapinghub公司開發并開源的，經歷過時間的檢驗，好用，性能佳。

http請求庫requests：requests官方是這樣介紹這個庫的：“Requests 是個為Python而寫的優雅又簡單的HTTP庫”我們可以在爬蟲代碼開發過程中使用這個庫進行調試，甚至一些簡單的爬蟲完全可以只用requests來實現。

http請求curl：說起調試爬蟲，就一定得提到curl，這個工具非常好用。在chrome中可以一鍵生成某個請求的curl命令，然后修改參數以調試可驗證接口可接受參數的范圍。

一個爬蟲所需要的工具就這么多了。除了上面介紹的這些，你可能還需要一臺電腦和一根網線。

在本教程中，不會過多涉及存儲。你完全可以將采集回來的數據以任何你認為方便的方式存儲。如果你不太會使用數據庫的話，直接用文件存儲也可以。

如果你還想了解更多的話，可以看看下面這些工具。

urllib3：其實還有urllib和urllib2，是比較底層的原生http請求庫。如果你沒有直接使用過它們，那說明你不需要學習它們。

grab：另一個爬蟲框架，并非python爬蟲業界主流。有興趣可以讀讀源碼。

asyncio：py3中的一個異步協程庫。

aiohttp：基于asyncio實現的一個異步協程http請求庫。

pyspider：爬蟲專家binux業余開發的一套爬蟲框架，帶UI展示。但是維護不頻繁，也不如scrapy好用。大家有空可以讀讀源碼學習一下，不推薦工業使用。

模擬瀏覽器：

以前常用技術棧有selenium+phatomjs，其中selenium是個自動化測試框架，phatomjs是個無界面瀏覽器，但phatomjs已經停止開發了。

目前更為常用的方案應該是selenium+chrome headless，或是pyppeteer跟splash。

chrome headless就是chrome瀏覽器的無界面版本，我們將在后續文章中著重介紹。

pyppeteer則是基于puppeteer進行封裝的另一個chrome headless自動化測試框架。

splash則是scrapinghub公司研發的，比較適合只對js進行渲染，而不進行點擊或任何其他步驟的操作。

抓包分析工具：

最常用的還是chrome和firefox的開發者工具，我們的教程中幾乎都是chrome開發者工具作為示例。

app抓包可以使用fiddler和charless，如果搞不定就得上更加高端的wireshark。甚至是mitmproxy或anyproxy進行抓包。

后續在我們講解到app抓取時，我們會比較詳細的介紹app如何反編譯，找到加密算法。但其實app抓取更常用的手段是Appium模擬，這類似于PC端使用瀏覽器進行渲染。

建議爬蟲初學者不要一次學習太多工具，只要先對每個工具的作用做一個初步了解，后續伴隨著項目的進行，遇到合適的場景下選擇合適的工具即可。

總結

以上是生活随笔為你收集整理的python selenium采集速卖通_2.不苟的爬虫小教程系列：python爬虫技术栈介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。