當(dāng)前位置：首頁(yè) > 编程语言 > asp.net >内容正文

asp.net

python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items

發(fā)布時(shí)間：2023/12/8 asp.net 33 豆豆

生活随笔收集整理的這篇文章主要介紹了 python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

上面一篇介紹了scrapy抓取的大概架構(gòu)，此篇文章針對(duì)一些技術(shù)問(wèn)題進(jìn)行展開(kāi)說(shuō)明。

一、如何處理ASP.NET分頁(yè)?

我們還是深圳房地產(chǎn)信息系統(tǒng)為例，?

因?yàn)橹耙恢笔菍慉SP.NET的，.NET很多控件都是通過(guò)拖拽實(shí)現(xiàn)。很多代碼可以省去編寫過(guò)程，都是自動(dòng)生成的。這里的下一頁(yè)操作就是通過(guò)自動(dòng)生成的js代碼，scrapy框架是不能執(zhí)行JS代碼。但我們清楚他執(zhí)行了_doPostBack函數(shù)，我們?cè)倏確doPostBack是怎么定義的。?

function __doPostBack(eventTarget, eventArgument) {if (!theForm.onsubmit || (theForm.onsubmit() != false)) {theForm.__EVENTTARGET.value = eventTarget;theForm.__EVENTARGUMENT.value = eventArgument;theForm.submit();} }

來(lái)看看form1是怎么定義的?

里面有很多hidden的控件，里面的值很多而且都是自動(dòng)產(chǎn)生的，具體我也不太清楚什么意思。?

但是我們清楚，他的原理就是向本頁(yè)面再次發(fā)送一次POST請(qǐng)求，進(jìn)行分頁(yè)。所以從URL地址上看沒(méi)有變化。既然有POST操作，具體傳了些什么參數(shù)。靈光一現(xiàn)，與其研究JS代碼怎么封裝，不如直接抓包看看傳遞什么參數(shù)。

?這里使用經(jīng)常用到的wireshark，簡(jiǎn)單好用，清晰明了。

當(dāng)我們點(diǎn)擊下一步以后，我們可以看見(jiàn)發(fā)送了一個(gè)HTTP請(qǐng)求，執(zhí)行了POST方法。

進(jìn)一步展開(kāi)來(lái)看。所有的參數(shù)，一一羅列。傳遞參數(shù)也就是頁(yè)面上隱藏的。

回頭再來(lái)看我寫的分頁(yè)代碼，進(jìn)行遞歸查詢。

def parse(self, response):context = response.xpath('//tr[@bgcolor="#F5F9FC"]/td[3]')dbhelp=RishomePipeline()for item in context:title=item.xpath('a/text()').extract_first()idstr=item.xpath('a/@href').extract_first()idstr=idstr[idstr.find('=')+1:]if dbhelp.ispropertyexits(idstr):returnrequest=scrapy.Request(url='http://ris.szpl.gov.cn/bol/projectdetail.aspx?id='+idstr, method='GET',callback=self.showdetailpage)yield request'''以下是分頁(yè)代碼，組合post_data結(jié)構(gòu)體，POST請(qǐng)求要使用 yield scrapy.FormRequest(url=response.url,formdata =post_data,callback=self.parse,dont_filter=True)函數(shù)。'''next_page = response.xpath('//*[@id="AspNetPager1"]/div[2]/a[3]/@href')pnum=next_page.extract_first().split(',')[1].replace("'","").replace(")","")post_data = {"__EVENTTARGET" : "AspNetPager1","__EVENTARGUMENT" :pnum,"__VIEWSTATEENCRYPTED" : "","tep_name" : "","organ_name" : "","site_address" : "","AspNetPager1_input" : "1"}a = response.xpath('//*[@id="__VIEWSTATE"]/@value')post_data['__VIEWSTATE']=a.extract_first()b=response.xpath('//*[@id="__VIEWSTATEGENERATOR"]/@value')post_data['__VIEWSTATEGENERATOR']=b.extract_first()c = response.xpath('//*[@id="__EVENTVALIDATION"]/@value')post_data['__EVENTVALIDATION'] = c.extract_first()'''分頁(yè)到最后一頁(yè)，‘下一頁(yè)’的按鈕就不是鏈接了，頁(yè)面沒(méi)有href參數(shù)了，此時(shí)判斷分頁(yè)結(jié)束，即遞歸結(jié)束'''if pnum is not None and pnum!="":yield scrapy.FormRequest(url=response.url,formdata =post_data,callback=self.parse,dont_filter=True)

?二、request和response之間如何傳參

有些時(shí)候需要將兩個(gè)頁(yè)面的內(nèi)容合并到一個(gè)item里面，這時(shí)候就需要在yield scrapy.Request的同時(shí)，傳遞一些參數(shù)到一下頁(yè)面中。這時(shí)候可以這樣操作。

request=scrapy.Request(houseurl,method='GET',callback=self.showhousedetail)request.meta['biid']=biidyield requestdef showhousedetail(self,response):house=HouseItem()house['bulidingid']=response.meta['biid']

三、pipeline區(qū)分傳來(lái)Items

各個(gè)頁(yè)面都會(huì)封裝items并將item傳遞給pipelines來(lái)處理，而pipelines接收的入口只有一個(gè)就是

def process_item(self, item, spider)函數(shù)

用來(lái)區(qū)分item的辦法。

def process_item(self, item, spider):if str(type(item))=="<class 'rishome.items.RishomeItem'>":self.saverishome(item)if str(type(item))=="<class 'rishome.items.BulidingItem'>":self.savebuliding(item)if str(type(item))=="<class 'rishome.items.HouseItem'>":self.savehouse(item)return item # 必須實(shí)現(xiàn)返回

總結(jié)

以上是生活随笔為你收集整理的python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：推荐几个网盘搜索工具，大大提高你的找资源
下一篇：编程语言中，还有一种语言，那就是用中文来