Window10/Linux 下安装 scrapy (twisted 安装失败的解决办法 )
安裝前的一些所謂的“廢話”
Scrapy 是一個優秀的 Python 框架,相信很多初學者在安裝 Scrapy 的時候會遇到一些坑(這些坑主要體現在 Windows 下的?twisted?安裝),本文就此做些記錄。本文主要介紹過程主要是 window10 , Linux 與 Window 的唯一差別在于?twisted 安裝很省事,具體怎樣省事,下面會提到。(當然通常情況下 Linux 下默認本身自帶?python2.7 ,安裝時注意指定使用特定版本的命令)
默認前提是你的電腦已經安裝了 python3 環境(感覺在這就是廢話):沒有的話自行百度安裝。
注意:這里要注意的是,因為我們之后的安裝都需要用到 控制臺(cmd) 操作,但是默認情況下你安裝的 python3 是在C盤,這里打開控制臺就必須以管理員模式打開 cmd。普通模式安裝的時候很大可能會因權限不足失敗。(Linux 下的話在命令前面加上 sudo 即可)
開始前先升級一下:pip
pip install pip --upgrade開始安裝
安裝資料當然最好最權威是官網資料啦:
? ? ??https://docs.scrapy.org/en/latest/intro/install.
我們看到:
但是直接在 控制臺(管理員模式下的 cmd.exe) 執行是會失敗的,因為往下看會發現 scrapy 需要這些依賴庫:
所以我們要執行以下命令來安裝依賴:
pip install lxml pip install w3lib pip install parsel pip install cryptography pip install pyOpenSSL pip install twisted # 該選項需要 Microsoft Visual C++ 14.0(當時是在 Windows 下的要求)? ? ? ?最后一條命令在執行的時候通常會因為你的電腦上沒有安裝 Microsoft Visual C++ 14.0,造成編譯安裝失敗,解決方法呢,可以自行百度安裝?Microsoft Visual C++ 14.0,但是這個不好找,微軟官網我也看了一下,只有幾個 GB 的全家桶。所以最后我選擇了更簡單的辦法,到這里:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted?
PS1:這也是與 Linux 下唯一的差別,Linux 直接執行上面的 幾條命令就可以完成
PS2:之所以這樣解決可以成功是因為,python 是可以基于 C/C++ 編寫擴展庫的,但是你編寫了,就需要按要求使用指定的C/C++編譯器,才能編譯安裝,下面使用的是已經編譯好的 *.whl, 跳過了編譯步驟,所以就不用安裝 Microsoft Visual C++ 14.0
安裝下載下來的編譯過的:?Twisted-18.7.0-cp36-cp36m-win_amd64.whl
此時相關依賴已經全部安裝完畢,這個時候你就可以從容瀟灑的執行:
pip install scrapy最后不出意外的話你就會看到:
此時你已經成功安裝 scrapy。
PS:如果很不幸你失敗了,那么請確保你認真看了本教程,如果認真看了,你還是失敗了,那請自行百度,或者文章下面留言(詳細描述錯誤信息)。我看到會及時回復。
總結
以上是生活随笔為你收集整理的Window10/Linux 下安装 scrapy (twisted 安装失败的解决办法 )的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python3 的 encode 与 d
- 下一篇: IDEA、Sublime、Eclipse