照著敲了一遍，，，

需要使用"LinkExtrator"和"Rule"，這兩個(gè)東西決定爬蟲的走向。

1.allow設(shè)置規(guī)則的方法：要能夠限制在我們想要的url上，不要跟其他的url產(chǎn)生相同的正則表達(dá)式即可

2.什么情況下使用follow：如果要爬取頁面的時(shí)候，需要將滿足當(dāng)前條件的url再進(jìn)行跟進(jìn)，那么就設(shè)置為True，否則設(shè)置為False。

3.什么情況下該指定callback：如果這個(gè)url對應(yīng)的頁面，只是為了獲取更多的url，并不需要里面的數(shù)據(jù)，那么可以不指定callback。如果想要獲取url對應(yīng)頁面中的數(shù)據(jù)，需要指定一個(gè)callback

創(chuàng)建項(xiàng)目：

1 scrapy startproject wxapp 2 cd wxapp 3 scrapy genspider -t crawlspider http://www.wxapp_union.com #指定crawl模板創(chuàng)建爬蟲

?

項(xiàng)目代碼

轉(zhuǎn)載于:https://www.cnblogs.com/MC-Curry/p/9507268.html

總結(jié)

以上是生活随笔為你收集整理的爬虫_微信小程序社区教程（crawlspider）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。