一個比較經(jīng)典的例子，爬取的是這個頁面https://movie.douban.com/top250
使用正則表達式，將電影名稱，上映年份，評分，評價人數(shù)這些信息提取出來，并保存到一個csv文件中，代碼如下：

import requests import re import csvheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36" } # 共有10頁，要做10次循環(huán) for i in range(10):url = "https://movie.douban.com/top250?start={}&filter=".format(i * 25)resp = requests.get(url, headers=headers)page_content = resp.text# 正則解析數(shù)據(jù)obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'r'</span>.*?<p class="">.*?<br>(?P<year>.*?)&nbsp.*?<span 'r'class="rating_num" property="v:average">(?P<score>.*?)</span>.*?'r'<span>(?P<num>.*?)人評價</span>', re.S)# 開始匹配result = obj.finditer(page_content)# 以追加形式打開一個文件 加上newline參數(shù)可以讓數(shù)據(jù)之間沒有空行f = open("data2.csv", mode="a", newline='')# writer()函數(shù)返回一個writer對象，該對象負責(zé)將用戶的數(shù)據(jù)在給定的文件類對象上轉(zhuǎn)換為帶分隔符的字符串csvwriter = csv.writer(f)for it in result:# print(it.group("name"))# print(it.group("score"))# print(it.group("num"))# print(it.group("year").strip())# 將一行數(shù)據(jù)存進一個字典里dic = it.groupdict() # {'name': '肖申克的救贖', 'year': '1994', 'score': '9.7', 'num': '2492606'}dic['year'] = dic['year'].strip() # 去除多余的空格# 將字典中的所有value寫入到writer的文件對象。csvwriter.writerow(dic.values())f.close() # 關(guān)閉文件print(i, "頁over")resp.close()

運行結(jié)果：

data2.csv文件中的數(shù)據(jù)，共250條：

總結(jié)

以上是生活随笔為你收集整理的python爬取豆瓣电影TOP250的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。