Scrapy 提供了 log 功能，可以通過 logging 模塊使?。
可以修改配置?件 settings.py，任意位置添加下?兩?，效果會清爽很
多。
LOG_FILE = "TencentSpider.log"
LOG_LEVEL = "INFO"
Log levels
Scrapy 提供 5 層 logging 級別:
CRITICAL - 嚴重錯誤(critical)
ERROR - ?般錯誤(regular errors)
WARNING - 警告信息(warning messages)
INFO - ?般信息(informational messages)
DEBUG - 調試信息(debugging messages)
logging 設置
通過在 setting.py 中進?以下設置可以被?來配置 logging:
CrawlSpiders
225
1. LOG_ENABLED 默認: True，啟?logging
2. LOG_ENCODING 默認: 'utf-8'，logging 使?的編碼
3. LOG_FILE 默認: None，在當前?錄?創建 logging 輸出?件的?件名
4. LOG_LEVEL 默認: 'DEBUG'，log 的最低級別
5. LOG_STDOUT 默認: False 如果為 True ，進程所有的標準輸出 ( 及錯誤 )
將 會被重定向到 log 中。例如，執? print "hello" ，其將會在 Scrapy
log 中顯 示。
Spider 參數
Spider 可以通過接受參數來修改其功能。 spider 參數?般?來定義初始 URL
或者指定限制爬取?站的部分。 您也可以
使?其來配置 spider 的任何功能。
在運? crawl 時添加 -a 可以傳遞 Spider 參數:

scrapy crawl myspider -a category=electronics

Spider 在構造器(constructor)中獲取參數:

import scrapy class MySpider(Spider): name = 'myspider' def init (self, category=None, *args, **kwargs): super(MySpider, self). init (*args, **kwargs) self.start_urls = ['http://www.example.com/categories/%s' %category]

?

轉載于:https://www.cnblogs.com/hhy-love-python/p/8521518.html

總結

以上是生活随笔為你收集整理的scrapy---Logging的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。