Python版本管理：pyenv和pyenv-virtualenv
Scrapy爬蟲入門教程一 安裝和基本使用
Scrapy爬蟲入門教程二 官方提供Demo
Scrapy爬蟲入門教程三 命令行工具介紹和示例
Scrapy爬蟲入門教程四 Spider（爬蟲）
Scrapy爬蟲入門教程五 Selectors（選擇器）
Scrapy爬蟲入門教程六 Items（項目）
Scrapy爬蟲入門教程七 Item Loaders（項目加載器）
Scrapy爬蟲入門教程八 交互式 shell 方便調(diào)試
Scrapy爬蟲入門教程九 Item Pipeline（項目管道）
Scrapy爬蟲入門教程十 Feed exports（導出文件）
Scrapy爬蟲入門教程十一 Request和Response（請求和響應(yīng)）
Scrapy爬蟲入門教程十二 Link Extractors（鏈接提取器）

• 導出文件
  • 序列化格式
    • JSON
    • JSON lines
    • CSV
    • XML
    • Pickle
    • Marshal
  • 存儲
  • 存儲URI參數(shù)
  • 存儲后端
    • 本地文件系統(tǒng)
    • FTP
    • S3
    • 標準輸出
  • 設(shè)置
    • FEED_URI
    • FEED_FORMAT
    • FEED_EXPORT_ENCODING
    • FEED_EXPORT_FIELDS
    • FEED_STORE_EMPTY
    • FEED_STORAGES_BASE
    • FEED_EXPORTERS
    • FEED_EXPORTERS_BASE

開發(fā)環(huán)境：
Python 3.6.0 版本 （當前最新）
Scrapy 1.3.2 版本 （當前最新）

導出文件

新版本0.10。

實現(xiàn)爬蟲時最常需要的特征之一是能夠正確地存儲所過濾的數(shù)據(jù)，并且經(jīng)常意味著使用被過濾的數(shù)據(jù)（通常稱為“export feed”）生成要由其他系統(tǒng)消耗的“導出文件” 。

Scrapy使用Feed導出功能即時提供此功能，這允許您使用多個序列化格式和存儲后端來生成包含已抓取項目的Feed。

序列化格式

為了序列化抓取的數(shù)據(jù)，Feed導出使用項導出器。這些格式是開箱即用的：

• JSON
• JSON lines
• CSV
• XML

但您也可以通過FEED_EXPORTERS設(shè)置擴展支持的格式 。

JSON

• FEED_FORMAT： json
• 使用出口： JsonItemExporter
• 如果您對大型Feed使用JSON，請參閱此警告。

JSON lines

• FEED_FORMAT： jsonlines
• 使用出口： JsonLinesItemExporter

CSV

• FEED_FORMAT： csv
• 使用出口： CsvItemExporter
• 指定要導出的列及其順序使用 FEED_EXPORT_FIELDS。其他Feed導出程序也可以使用此選項，但它對CSV很重要，因為與許多其他導出格式不同，CSV使用固定標頭。

XML

• FEED_FORMAT： xml
• 使用出口： XmlItemExporter

Pickle

• FEED_FORMAT： pickle
• 使用出口： PickleItemExporter

Marshal

• FEED_FORMAT： marshal
• 使用出口： MarshalItemExporter

---

存儲

使用Feed導出時，您可以使用URI（通過FEED_URI設(shè)置）定義在哪里存儲Feed 。Feed導出支持由URI方案定義的多個存儲后端類型。

支持開箱即用的存儲后端包括：

• 本地文件系統(tǒng)
• FTP
• S3（需要 botocore或 boto）
• 標準輸出

如果所需的外部庫不可用，則某些存儲后端可能無法使用。例如，S3后端僅在安裝了botocore 或boto庫時可用（Scrapy僅支持boto到Python 2）。

---

存儲URI參數(shù)

存儲URI還可以包含在創(chuàng)建訂閱源時被替換的參數(shù)。這些參數(shù)是：

• %(time)s - 在創(chuàng)建訂閱源時由時間戳替換
• %(name)s - 被蜘蛛名替換

任何其他命名參數(shù)將替換為同名的spider屬性。例如， 在創(chuàng)建訂閱源的那一刻，%(site_id)s將被spider.site_id屬性替換。

這里有一些例子來說明：

• 存儲在FTP中使用每個蜘蛛一個目錄：
  
  • ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
• 存儲在S3使用每個蜘蛛一個目錄：
  
  • s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

存儲后端

本地文件系統(tǒng)

訂閱源存儲在本地文件系統(tǒng)中。

URI方案： file
示例URI： file:///tmp/export.csv
所需的外部庫：none
請注意，（僅）對于本地文件系統(tǒng)存儲，如果指定絕對路徑，則可以省略該方案/tmp/export.csv。這只適用于Unix系統(tǒng)。

FTP

訂閱源存儲在FTP服務(wù)器中。

• URI方案： ftp
• 示例URI： ftp://user:pass@ftp.example.com/path/to/export.csv
• 所需的外部庫：none

S3

訂閱源存儲在Amazon S3上。

• URI方案： s3
• 示例URI：
  
  • s3://mybucket/path/to/export.csv
  • s3://aws_key:aws_secret@mybucket/path/to/export.csv
• 所需的外部庫：botocore或boto

AWS憑證可以作為URI中的用戶/密碼傳遞，也可以通過以下設(shè)置傳遞：

• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY

標準輸出

Feed被寫入Scrapy進程的標準輸出。

• URI方案： stdout
• 示例URI： stdout:
• 所需的外部庫：none

設(shè)置

這些是用于配置Feed導出的設(shè)置：

• FEED_URI （強制性）
• FEED_FORMAT
• FEED_STORAGES
• FEED_EXPORTERS
• FEED_STORE_EMPTY
• FEED_EXPORT_ENCODING
• FEED_EXPORT_FIELDS

FEED_URI

默認： None

導出Feed的URI。請參閱支持的URI方案的存儲后端。

啟用Feed導出時需要此設(shè)置。

FEED_FORMAT

要用于Feed的序列化格式。有關(guān)可能的值，請參閱 序列化格式。

FEED_EXPORT_ENCODING

默認： None

要用于Feed的編碼。

如果取消設(shè)置或設(shè)置為None（默認），它使用UTF-8除了JSON輸出，\uXXXX由于歷史原因使用安全的數(shù)字編碼（序列）。

使用utf-8，如果你想UTF-8 JSON了。

FEED_EXPORT_FIELDS

默認： None

要導出的字段的列表，可選。示例：。FEED_EXPORT_FIELDS = [“foo”, “bar”, “baz”]

使用FEED_EXPORT_FIELDS選項定義要導出的字段及其順序。

當FEED_EXPORT_FIELDS為空或無（默認）時，Scrapy使用在Item蜘蛛正在產(chǎn)生的dicts 或子類中定義的字段。

如果導出器需要一組固定的字段（CSV導出格式為這種情況 ），并且FEED_EXPORT_FIELDS為空或無，則Scrapy會嘗試從導出的??數(shù)據(jù)中推斷字段名稱 - 當前它使用第一個項目中的字段名稱。

FEED_STORE_EMPTY

默認： False

是否導出空Feed（即，沒有項目的Feed）。

FEED_STORAGES
默認： {}

包含您的項目支持的其他Feed存儲后端的字典。鍵是URI方案，值是存儲類的路徑。

FEED_STORAGES_BASE

默認：

{'': 'scrapy.extensions.feedexport.FileFeedStorage','file': 'scrapy.extensions.feedexport.FileFeedStorage','stdout': 'scrapy.extensions.feedexport.StdoutFeedStorage','s3': 'scrapy.extensions.feedexport.S3FeedStorage','ftp': 'scrapy.extensions.feedexport.FTPFeedStorage', }

包含Scrapy支持的內(nèi)置Feed存儲后端的字典。您可以通過分配其中None的URI方案 來禁用這些后端FEED_STORAGES。例如，要禁用內(nèi)置FTP存儲后端（無替換），請將其放置在settings.py：

FEED_STORAGES = {'ftp': None, }

FEED_EXPORTERS

默認： {}

包含您的項目支持的其他導出器的字典。鍵是序列化格式，值是Item exporter類的路徑。

FEED_EXPORTERS_BASE

默認：

{'json': 'scrapy.exporters.JsonItemExporter','jsonlines': 'scrapy.exporters.JsonLinesItemExporter','jl': 'scrapy.exporters.JsonLinesItemExporter','csv': 'scrapy.exporters.CsvItemExporter','xml': 'scrapy.exporters.XmlItemExporter','marshal': 'scrapy.exporters.MarshalItemExporter','pickle': 'scrapy.exporters.PickleItemExporter', }

一個包含Scrapy支持的內(nèi)置feed導出器的dict。您可以通過分配其中None的序列化格式來禁用任何這些導出器FEED_EXPORTERS。例如，要禁用內(nèi)置的CSV導出器（無替換），請將其放置在settings.py：

FEED_EXPORTERS = {'csv': None, }

總結(jié)

以上是生活随笔為你收集整理的Scrapy爬虫入门教程十 Feed exports（导出文件）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。