1、去除注釋user_agent，偽裝瀏覽器
2、將ROBOTSTXT_OBEY = True改為ROBOTSTXT_OBEY=False;不遵守爬蟲協議

3、去除實體管道ITEM_PIPELINE的注釋

總結

以上是生活随笔為你收集整理的scrapy框架爬虫文件配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。