六、Scrapy中Download Middleware的用法
本文轉載自:
https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/downloader-middleware.html
https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
?
下載器中間件是介于Scrapy的request/response處理的鉤子框架。 是用于全局修改Scrapy request和response的一個輕量、底層的系統。
1、激活下載器中間件
要激活下載器中間件組件,將其加入到 DOWNLOADER_MIDDLEWARES 設置中。 該設置是一個字典(dict),鍵為中間件類的路徑,值為其中間件的順序(order)。
這里是一個例子:
DOWNLOADER_MIDDLEWARES = {
??? 'myproject.middlewares.CustomDownloaderMiddleware': 543,
}
DOWNLOADER_MIDDLEWARES 設置會與Scrapy定義的 DOWNLOADER_MIDDLEWARES_BASE 設置合并(但不是覆蓋), 
而后根據順序(order)進行排序,最后得到啟用中間件的有序列表: 第一個中間件是最靠近引擎的,最后一個中間件是最靠近下載器的
如果您想禁止內置的(在 DOWNLOADER_MIDDLEWARES_BASE 中設置并默認啟用的)中間件, 您必須在項目的 DOWNLOADER_MIDDLEWARES 設置中定義該中間件,并將其值賦為 None 。 例如,如果您想要關閉user-agent中間件:
DOWNLOADER_MIDDLEWARES = {
??? 'myproject.middlewares.CustomDownloaderMiddleware': 543,
??? 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
?
>scrapy settings --get=DOWNLOADER_MIDDLEWARES_BASE
{
??? "scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware": 100, 
??? "scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware": 300, 
??? "scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware": 350, 
??? "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": 400, 
??? "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": 500, 
??? "scrapy.downloadermiddlewares.retry.RetryMiddleware": 550, 
??? "scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware": 560, 
??? "scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware": 580, 
??? "scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware": 590, 
??? "scrapy.downloadermiddlewares.redirect.RedirectMiddleware": 600, 
??? "scrapy.downloadermiddlewares.cookies.CookiesMiddleware": 700, 
??? "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 750, 
??? "scrapy.downloadermiddlewares.stats.DownloaderStats": 850, 
??? "scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware": 900
}
2、編寫您自己的下載器中間件
編寫下載器中間件十分簡單。每個中間件組件是一個定義了以下一個或多個方法的Python類:
class scrapy.contrib.downloadermiddleware.DownloaderMiddleware
process_request(request, spider)
??? 當每個request通過下載中間件時,該方法被調用。
??? process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request 對象或raise IgnoreRequest 。
??? 如果其返回 None ,Scrapy將繼續處理該request,執行其他的中間件的相應方法,直到合適的下載器處理函數(download handler)被調用, 該request被執行(其response被下載)。
??? 如果其返回 Response 對象,Scrapy將不會調用 任何 其他的 process_request() 或 process_exception() 方法,或相應地下載函數; 其將返回該response。 已安裝的中間件的 process_response() 方法則會在每個response返回時被調用。
??? 如果其返回 Request 對象,Scrapy則停止調用 process_request方法并重新調度返回的request。當新返回的request被執行后, 相應地中間件鏈將會根據下載的response被調用。
??? 如果其raise一個 IgnoreRequest 異常,則安裝的下載中間件的 process_exception() 方法會被調用。如果沒有任何一個方法處理該異常, 則request的errback(Request.errback)方法會被調用。如果沒有代碼處理拋出的異常, 則該異常被忽略且不記錄(不同于其他異常那樣)。
??? 參數:?? ?
??????? request (Request 對象) – 處理的request
??????? spider (Spider 對象) – 該request對應的spider
process_response(request, response, spider)
??? process_request() 必須返回以下之一: 返回一個 Response 對象、 返回一個 Request 對象或raise一個 IgnoreRequest 異常。
??? 如果其返回一個 Response (可以與傳入的response相同,也可以是全新的對象), 該response會被在鏈中的其他中間件的 process_response() 方法處理。
??? 如果其返回一個 Request 對象,則中間件鏈停止, 返回的request會被重新調度下載。處理類似于 process_request() 返回request所做的那樣。
??? 如果其拋出一個 IgnoreRequest 異常,則調用request的errback(Request.errback)。 如果沒有代碼處理拋出的異常,則該異常被忽略且不記錄(不同于其他異常那樣)。
??? 參數:?? ?
??????? request (Request 對象) – response所對應的request
??????? response (Response 對象) – 被處理的response
??????? spider (Spider 對象) – response所對應的spider
process_exception(request, exception, spider)
??? 當下載處理器(download handler)或 process_request() (下載中間件)拋出異常(包括 IgnoreRequest 異常)時, Scrapy調用 process_exception() 。
??? process_exception() 應該返回以下之一: 返回 None 、 一個 Response 對象、或者一個 Request 對象。
??? 如果其返回 None ,Scrapy將會繼續處理該異常,接著調用已安裝的其他中間件的 process_exception() 方法,直到所有中間件都被調用完畢,則調用默認的異常處理。
??? 如果其返回一個 Response 對象,則已安裝的中間件鏈的 process_response() 方法被調用。Scrapy將不會調用任何其他中間件的 process_exception() 方法。
??? 如果其返回一個 Request 對象, 則返回的request將會被重新調用下載。這將停止中間件的 process_exception() 方法執行,就如返回一個response的那樣。
??? 參數:?? ?
??????? request (是 Request 對象) – 產生異常的request
??????? exception (Exception 對象) – 拋出的異常
??????? spider (Spider 對象) – request對應的spider
3、內置下載中間件參考手冊
1.CookiesMiddleware
class scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware
該中間件使得爬取需要cookie(例如使用session)的網站成為了可能。 
其追蹤了web server發送的cookie,并在之后的request中發送回去, 就如瀏覽器所做的那樣。
以下設置可以用來配置cookie中間件:
??? COOKIES_ENABLED
??? COOKIES_DEBUG
?? ?
2.單spider多cookie session
Scrapy通過使用 cookiejar Request meta key來支持單spider追蹤多cookie session。 
默認情況下其使用一個cookie jar(session),不過您可以傳遞一個標示符來使用多個。
例如:
for i, url in enumerate(urls):
??? yield scrapy.Request("http://www.example.com", meta={'cookiejar': i},
??????? callback=self.parse_page)
需要注意的是 cookiejar meta key不是”黏性的(sticky)”。 您需要在之后的request請求中接著傳遞。例如:
def parse_page(self, response):
??? # do some processing
??? return scrapy.Request("http://www.example.com/otherpage",
??????? meta={'cookiejar': response.meta['cookiejar']},
??????? callback=self.parse_other_page)
3.COOKIES_ENABLED
默認: True
是否啟用cookies middleware。如果關閉,cookies將不會發送給web server。
4.COOKIES_DEBUG
默認: False
如果啟用,Scrapy將記錄所有在request(Cookie 請求頭)發送的cookies及response接收到的cookies(Set-Cookie 接收頭)。
5.DefaultHeadersMiddleware
class scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware
該中間件設置 DEFAULT_REQUEST_HEADERS 指定的默認request header。
6.DownloadTimeoutMiddleware
class scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware
??? 該中間件設置 DOWNLOAD_TIMEOUT 或 spider的 download_timeout 屬性指定的request下載超時時間.
注解:
您也可以使用 download_timeout Request.meta key 來對每個請求設置下載超時時間. 這種方式在 DownloadTimeoutMiddleware 被關閉時仍然有效.
7.HttpAuthMiddleware
class scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware
??? 該中間件完成某些使用 Basic access authentication (或者叫HTTP認證)的spider生成的請求的認證過程。
??? 在spider中啟用HTTP認證,請設置spider的 http_user 及 http_pass 屬性。
??? 樣例:
??? from scrapy.contrib.spiders import CrawlSpider
??? class SomeIntranetSiteSpider(CrawlSpider):
??????? http_user = 'someuser'
??????? http_pass = 'somepass'
??????? name = 'intranet.example.com'
??????? # .. rest of the spider code omitted ...
轉載于:https://www.cnblogs.com/sanduzxcvbnm/p/10299895.html
總結
以上是生活随笔為你收集整理的六、Scrapy中Download Middleware的用法的全部內容,希望文章能夠幫你解決所遇到的問題。
                            
                        - 上一篇: the little schemer 笔
 - 下一篇: ES6笔记(二)