使用Python爬取最好大学网大学排名
生活随笔
收集整理的這篇文章主要介紹了
使用Python爬取最好大学网大学排名
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
源代碼:
#-*-coding:utf-8-*- ''' Created on 2017年3月17日 @author: lavi ''' import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url):try:r = requests.get(url)r.raise_for_statusr.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivList(univList,html):soup = BeautifulSoup(html,"html.parser")for tr in soup.find("tbody").children:if isinstance(tr,bs4.element.Tag): #tobody有的節點是空串,屬于要判斷類型進行過濾tds = tr("td") #等價于tr.find_all("td")univList.append([tds[0].string,tds[1].string,tds[2].string]) #NavigableString可以跨越多個層次def printUnivList(univList,num):tplt = "{0:^6}\t{1:^10}\t{2:^6}" #:前的數字說明使用format函數的第幾個參數填充模板print(tplt.format("排名","學校名稱","總分",chr(12288)))for i in range(num):u = univList[i]print(tplt.format(u[0],u[1],u[2],chr(12288))) def main():url= "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html";html = getHTMLText(url)univList=[]fillUnivList(univList,html)printUnivList(univList,20)main() ——— 中國大學MOOCPython網絡爬蟲與信息提取聽課筆記
總結
以上是生活随笔為你收集整理的使用Python爬取最好大学网大学排名的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: “你是程序员,帮我修个电脑吧” “不会,
- 下一篇: Unity AVPro视频播放路径问题(