說起爬蟲很多人立刻就會想起bs4、xpath、requests之類的

雖然說爬取普通網站用上邊的組合足夠了，但是如果不進階永遠不會知道該領域的廣闊。

下邊就介紹一下Scrapy爬蟲框架的安裝。

之后慢慢學習之后介紹Scrapy框架的使用。

首先給大家一個忠告，不要去妄想使用pip install或者easy_install安裝上Scrapy。

因為Scrapy需要的依賴包和依賴編譯環境太多了，網上的說什么用pip安裝都不太行，因為我全試了一遍，最后在cmd輸入scrapy startproject Tap的時候發現Scrapy已經安裝上了！！！這里我先不解釋，請大家繼續往下看，我先給大家介紹一下失敗經歷，目的是為了讓大家知道pip安裝的難度。如果有大神已經通過pip安裝上可以略過此處。

一.首先介紹一下通過pip安裝所需要的依賴

1.Visual C++ Build Tools

這個下載下來得3G

如果執意想pip安裝可以私信向我要安裝包，這個安裝包在官網找不到。

2.lxml

這個是xpath的必備庫，這個應該有，不管用不用框架。

3.pywin32

pip即可安裝

4.Twisted

因為不同版本的Scrapy對應不同版本的Twisted，需要去下載Whl文件手動安裝(最佳方法)。

安裝完上邊的依賴庫之后pip install Scrapy仍然會出很多問題，而且官方文檔明確支出，不建議使用pip安裝Scrapy。

二.下面開始介紹anaconda安裝Scrapy

1.打開Anaconda Navigator

2.搜索找到Scrapy

安裝即可，安裝完畢關掉就可以。

3.生成項目

4.目錄結構

可以看到Scrapy Project的生成結構

5.pycharm或者其他打開該文件進行編輯爬蟲即可！

最上邊提到我在沒pip安裝的情況下使用Scrapy能夠創建新項目是因為我之前在Anaconda中安裝了Scrapy。

另外還是祝大家學習愉快！

總結

以上是生活随笔為你收集整理的anaconda安装scrapy_Scrapy框架的安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。