Python+scrapy爬取山東各城市天氣預(yù)報(bào)

1、在命令提示符環(huán)境使用pip install scrapy命令安裝Python擴(kuò)展庫scrapy，詳見Python使用Scrapy爬蟲框架爬取天涯社區(qū)小說“大宗師”全文

2、使用下圖中的命令創(chuàng)建爬蟲項(xiàng)目

3、進(jìn)入爬蟲項(xiàng)目文件夾，執(zhí)行下面的命令創(chuàng)建爬蟲

現(xiàn)在，爬蟲項(xiàng)目的文件夾結(jié)構(gòu)如下圖所示

5、在頁面上單擊鼠標(biāo)右鍵，選擇“查看網(wǎng)頁源代碼”，然后找到與“城市預(yù)報(bào)列表”對應(yīng)的位置

6、選擇并打開山東省內(nèi)任意城市的天氣預(yù)報(bào)頁面，此處以煙臺為例

7、在頁面上單擊鼠標(biāo)右鍵，選擇“查看網(wǎng)頁源代碼”，找到與上圖中天氣預(yù)報(bào)相對應(yīng)的位置

8、修改items.py文件，定義要爬取的內(nèi)容，紅色方框內(nèi)是自己寫的代碼

9、修改爬蟲文件everyCityinSD.py，定義如何爬取內(nèi)容，其中用到的規(guī)則參考前面對頁面的分析

10、修改pipelines.py文件，把爬取到的數(shù)據(jù)寫入文件weather.txt，紅色方框內(nèi)是自己寫的代碼

11、修改settings.py文件，分派任務(wù)，指定處理數(shù)據(jù)的程序，紅色方框內(nèi)是自己寫的代碼

12、切換到命令提示符環(huán)境，執(zhí)行下面的命令運(yùn)行爬蟲程序

稍等幾秒鐘，生成包含各城市天氣預(yù)報(bào)數(shù)據(jù)的文件weather.txt

其中內(nèi)容為

總結(jié)

以上是生活随笔為你收集整理的python爬取天气数据山东_Python的学习《山东省各城市天气爬取》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。