Python3.7 Scrapy安装(Windows)
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
本文分為兩個(gè)部分,前大半部分說的都是Windows下手動(dòng)安裝Scrapy,文末給初學(xué)編程的童鞋或者不想這么手工安裝的童鞋推薦了Scrapy中文網(wǎng),直接使用其推薦的Anaconda安裝Scrapy即可啦!
自己動(dòng)手,紅紅臉頰系列:
Scrapy依賴的庫比較多,在安裝之前,你需要確保以下庫已經(jīng)安裝:wheel、lxml、pyOpenSSL、Twisted、pywin32,如果沒有,先裝完,再裝Scrapy。
安裝wheel
用途:
pip安裝固然方便,但有時(shí)候會(huì)遇到安裝失敗的問題。wheel和egg都是打包的格式,支持不需要編譯或制作的安裝過程。wheel現(xiàn)在被認(rèn)為是Python標(biāo)準(zhǔn)的二進(jìn)制打包格式。
安裝命令:
pip install wheel
注意:如果你是剛剛安裝過python并且從沒有安裝過wheel,你可以直接運(yùn)行上述命令。但如果你的pip版本不夠新,你需要在執(zhí)行install命令之前更新一下pip,在命令行中輸入:python -m pip install --upgrade pip更新pip,再輸入安裝命令即可。
安裝lxml
用途:
python的一個(gè)解析庫,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
安裝命令:
pip install lxml
安裝zope.interface
用途:
python本身不提供interface的實(shí)現(xiàn),需要通過第三方擴(kuò)展庫來使用類似interface的功能,一般都是zope.interface。
注意:不安裝zope.interface可能會(huì)出現(xiàn)pyOpenSSL安裝失敗。
安裝步驟:
1、進(jìn)入網(wǎng)址
[https://pypi.org/project/zope.interface/#files]:
下載最新版本.whl文件(cp后跟著的是對(duì)應(yīng)的python版本號(hào)),我的python是3.7.2版本,因此下載zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
2、下載完成后拷貝文件到python安裝目錄下(或者cd命令進(jìn)入。whl文件所在路徑皆可),執(zhí)行安裝命令。
安裝命令:
pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
安裝pyOpenSSL
用途:
讓python支持SSL通信協(xié)議,簡單來說就是加密解密等這系列操作。
安裝步驟:
1、進(jìn)入網(wǎng)址
[https://pypi.org/project/pyOpenSSL/#files]:
下載最新版本.whl文件,比如我下載的是pyOpenSSL-18.0.0-py2.py3-none-any.whl
2、下載完成后拷貝文件到python安裝目錄下(或者cd命令進(jìn)入。whl文件所在路徑皆可),執(zhí)行安裝命令。
安裝命令:
pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl
安裝Twisted
用途:
此處摘自網(wǎng)絡(luò)
[https://www.cnblogs.com/misswangxing/p/7712318.html]:
:Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架,Twisted支持許多常見的傳輸及應(yīng)用層協(xié)議,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一樣,Twisted也具有“內(nèi)置電池”(batteries-included)的特點(diǎn)。Twisted對(duì)于其支持的所有協(xié)議都帶有客戶端和服務(wù)器實(shí)現(xiàn),同時(shí)附帶有基于命令行的工具,使得配置和部署產(chǎn)品級(jí)的Twisted應(yīng)用變得非常方便。
安裝步驟:
1、進(jìn)入網(wǎng)址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:
下載最新版本.whl文件,比如我下載的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl
2、下載完成后拷貝文件到python安裝目錄下(或者cd命令進(jìn)入。whl文件所在路徑皆可),執(zhí)行安裝命令。
安裝命令:
pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
安裝pywin32
用途:
python不自帶訪問Windows API的庫,需要下載這個(gè)庫做支持。
安裝步驟:
1、進(jìn)入網(wǎng)址(pywin32從Build 222開始把所有的下載放在了github上面,python3.7版本的就從這里下載)
[https://github.com/mhammond/pywin32/releases]:
2、下載pywin32-224.win-amd64-py3.7.exe
安裝exe:
雙擊運(yùn)行不需要解釋,安心系咯。(我是沒出現(xiàn)not found in the registry等等問題...咳咳...)
安裝Scrapy
安裝方式一:
你可以進(jìn)入地址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:
去下載Scrapy,然后用前面安裝.whl文件的方式安裝。
安裝方式二:
命令:pip install scrapy
搞定收工!YOHO~
使用工具,快速解決系列:Anaconda
其實(shí),你還可以登錄Scrapy中文網(wǎng),使用Anaconda進(jìn)行安裝,這個(gè)方式可能更適合初學(xué)編程的童鞋。地址如下:
[http://www.scrapyd.cn/doc/124.html]:
表打我... 咳咳...
驗(yàn)證安裝是否成功
方法一:
命令行:pip list
列表中出現(xiàn)了Scrapy,安裝成功。
方法二:
命令行:scrapy
正確執(zhí)行命令,安裝成功。
轉(zhuǎn)載于:https://my.oschina.net/u/2427564/blog/3000594
總結(jié)
以上是生活随笔為你收集整理的Python3.7 Scrapy安装(Windows)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Bash中的shopt选项
- 下一篇: java设计模式(六)--观察者模式