2019獨角獸企業重金招聘Python工程師標準>>>

scrapy的selector提供了xpath語言解析器，可以很方便的在將數據從復雜的網頁源碼中過濾。這里先不管使用JS將數據加載到前臺的類型，先來最簡單的，例如這個三國演義：http://www.newxue.com/gkmz/sgyy。

首先使用scrapy自帶的交互shell打開網頁進行分析：

scrapy?shell?'?#注意一定不要忘記兩個''

然后使用火狐打開http://www.newxue.com/gkmz/sgyy，激活firebug。（用chrome，IE自帶的開發工具也行，但個人感覺沒有firebug好使）

差不多就是這個界面了：

然后利用右上角的搜索功能快速定位希望提取的元素：

要提取的就是上圖所示的網址：http://www.newxue.com/baike/12454027234683.html：

利用firebug的右鍵復制xpath功能得到xpath：

/html/body/div[7]/div[1]/div/div[2]/div[6]/ul/li[2]/a

這樣肯定是不行的。。

需要改一下：

/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a

在shell中驗證一下：

response.xpath('/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a/@href').extract()

正常的化會返回：

[u'http://www.newxue.com/zuoze/12446132301834.html',?u'http://www.newxue.com/baike/12454027234683.html'...]

這樣就可以編寫第一個parse方法了：

????def?parse(self,?response):#print?response.urlURLs?=?response.xpath('/html/body/div/div/div/div/div[@class="xslttext"]/ul/li/a/@href').extract();reg?=?0for?i?in?URLs:yield?scrapy.Request(i,?callback=self.parsebook)

接著按照上述方法分析文章頁面：http://www.newxue.com/baike/12454027234683.html，然后完成parsebook方法：

?????def?parsebook(self,?response):#print?response.urlTexts?=?response.xpath('/html/body/div/div/div[@id="dashu_text"]/p/text()').extract()for?i?in?Texts:print?i

這樣對三國演義的遞歸抓取就完成了。

待續

轉載于:https://my.oschina.net/u/1242185/blog/325727

總結

以上是生活随笔為你收集整理的Scrapy -- 05的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。