python爬蟲，爬取全國空氣質量指數

編程環境：Jupyter Notebook
所要爬取的網頁數據內容如下圖

python爬蟲代碼及含義詳細說明

#全國城市 import time import requests from bs4 import BeautifulSoup headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' }#爬蟲[Requests設置請求頭Headers],偽造瀏覽器 # 核心爬取代碼 url= 'http://www.tianqihoubao.com/aqi/aqi_rank.html' params = {"show_ram":1} response = requests.get(url,params=params, headers=headers)#訪問url listData=[]#定義數組 soup = BeautifulSoup(response.text, 'html.parser')#獲取網頁源代碼 tr = soup.find('table',class_='b').find_all('tr')#.find定位到所需數據位置 .find_all查找所有的tr（表格） # 去除標簽欄 for j in tr[1:]: #tr2[1:]遍歷第1列到最后一列，表頭為第0列td = j.find_all('td')#td表格Date = td[0].get_text().strip() #遍歷排名Quality_grade = td[1].get_text().strip() #遍歷城市AQI = td[2].get_text().strip() #遍歷空氣質量指數AQIAQI_rank = td[3].get_text().strip() #遍歷PM2.5濃度PM = td[4].get_text() #遍歷空氣質量狀況Cities = td[5].get_text() #遍歷省份listData.append([Date,Quality_grade,AQI,AQI_rank,PM,Cities]) print (listData)#打印

運行結果如下

總結

以上是生活随笔為你收集整理的python爬虫,爬取表格数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。