Crawler之Scrapy：Scrapy簡介、安裝、使用方法之詳細攻略

?

?

目錄

scrapy簡介

Scrapy進行安裝

Scrapy使用方法

---

?

?

?

scrapy簡介

? ? Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數據。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。 Scrapy吸引人的地方在于它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支持。

這次我們使用Python3版本進行安裝scrapy，如果是其他python2.版本安裝請參考鏈接，Python 2.7安裝scrapy指南

?

?

Scrapy進行安裝

pip install Scrapy

如果安裝中出現錯誤，請根據下邊的幾個錯誤，分別進行處理，最后測試成功即可！

1、當安裝過程中出現了紅色的錯誤：Failed building wheel for Twisted

然后去這個網址https://www.lfd.uci.edu/~gohlke/pythonlibs/，下載與你python版本，相應的Twisted版本

2、接著安裝這個whl文件

3、當安裝過程中出現了這個白色錯誤：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

Command ""f:\program files\python\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\99386\\AppData\\Local\\Temp\\pip-build-w06f16db\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\99386\AppData\Local\Temp\pip-6otgh__e-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\99386\AppData\Local\Temp\pip-build-w06f16db\Twisted\

4、最后測試一下，是否安裝成功

哈哈，大功告成！

?

?

Scrapy使用方法

更新……

?

?

相關文章推薦
Crawler之Scrapy：Python實現scrapy框架爬蟲兩個網址下載網頁內容信息
?

?

總結

以上是生活随笔為你收集整理的Crawler之Scrapy：Scrapy简介、安装、使用方法之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。