DotnetSpider (二) Downloader的设置 Request自定义数据字典
生活随笔
收集整理的這篇文章主要介紹了
DotnetSpider (二) Downloader的设置 Request自定义数据字典
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
**?溫馨提示:如需轉載本文,請注明內容出處。**
本文連接:http://www.cnblogs.com/grom/p/8968905.html?
接上一篇,在原項目的基礎上進行改造,為EntitySpider設置Downloader。
自定義Downloader類:
public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader{
protected override Page DowloadContent(Request request, ISpider spider)
{
var site = spider.Site;
request.Extras = new Dictionary<string, dynamic>();
request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
Page page = new Page(request);
return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
}
}
注釋為:
這里的數據字典可以在選擇器中使用SelectorType.Enviroment來使用
如圖所示,Url為Request自帶Key,Date就是我們上面設置的屬性了,通過這種方法,達到了在數據庫內插入一列自定義數據,我這里的作用是記錄抓取日期。
結果:
來看下Request類
這個是發起請求的信息,也就是說,在這個自定義的Downloader里面,我們可以任意修改定義帶{ set; }權限的屬性,包括cookie等,來滿足我們的需求。
總結
以上是生活随笔為你收集整理的DotnetSpider (二) Downloader的设置 Request自定义数据字典的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 中国传媒大学2022年研究生录取分数线(
- 下一篇: dotNetSpider 手记