目標(biāo)在Win7上建立一個(gè)Scrapy爬蟲(chóng)項(xiàng)目，以及對(duì)其進(jìn)行基本操作。運(yùn)行環(huán)境：電腦上已經(jīng)安裝了python(環(huán)境變量path已經(jīng)設(shè)置好)，

以及scrapy模塊，IDE為Pycharm 。操作如下：

一、建立Scrapy模板。進(jìn)入自己的工作目錄，shift +?鼠標(biāo)右鍵進(jìn)入命令行模式，在命令行模式下，

輸入scrapy startproject 項(xiàng)目名?,如下：

看到以上的代碼說(shuō)明項(xiàng)目已經(jīng)在工作目錄中建好了。

二、在Pycharm中scrapy的導(dǎo)入。在Pycharm中打開(kāi)工作目錄中的TestDemo，點(diǎn)擊File->?Settings->Project: TestDemo->Project Interpreter。

法一： 如圖，

選擇紅框中右邊的下拉菜單點(diǎn)擊Show All, 如圖：

點(diǎn)擊右上角加號(hào)，如圖：

在紅色框體內(nèi)找到電腦里已經(jīng)安裝的python，比如我的是：

C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 導(dǎo)入即可。

之后，pycharm會(huì)自動(dòng)導(dǎo)入你已經(jīng)在電腦上安裝的scrapy等模塊。如圖，即紅色框體中顯示的。

法二：一個(gè)不那么麻煩的方法。如圖：

點(diǎn)擊紅色框體，在彈出的框體內(nèi)另安裝一個(gè)scrapy,?如圖：

需要安裝的模塊，如圖：

模塊自下而上進(jìn)行安裝，其中可能出現(xiàn)twisted包不能成功安裝，出現(xiàn)

Failed building wheel for Twisted

Microsoft Visual C++ 14.0 is required...

的現(xiàn)象，那就搜一解決方案，這里不多說(shuō)了。

三、Pycharm中scrapy的運(yùn)行設(shè)置。

法一：Scrapy爬蟲(chóng)的運(yùn)行需要到命令行下運(yùn)行，在pychram中左下角有個(gè)Terminal,點(diǎn)開(kāi)就可以在Pycharm下進(jìn)入命令行，默認(rèn)

是在項(xiàng)目目錄下的，要運(yùn)行項(xiàng)目，需要進(jìn)入下一層目錄，使用cd TestDemo 進(jìn)入下一層目錄，然后用scrapy crawl 爬蟲(chóng)名 ， 即可運(yùn)行爬蟲(chóng)。

如圖：

法二：在TestDemoSpider目錄和scrapy.cfg同級(jí)目錄下面，新建一個(gè)entrypoint.py文件,如圖：

其中只需把紅色框體內(nèi)的內(nèi)容改成相應(yīng)的爬蟲(chóng)的名字就可以在不同的爬蟲(chóng)項(xiàng)目中使用了，直接運(yùn)行該文件就能使得Scrapy爬蟲(chóng)運(yùn)行

Tips:在創(chuàng)建爬蟲(chóng)時(shí)使用模板更加方便一些，如：

scrapy genspider [-t template] ? ?即：scrapy genspider testDemoSpider baidu.com

總結(jié)

以上是生活随笔為你收集整理的python scrapy爬虫遇见301_在Pycharm中运行Scrapy爬虫项目的基本操作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。