前言

使用python爬蟲爬取bilibli每日熱門視頻的數據
使用的第三方軟件包括requests、my_fake_useragent

一、頁面分析

在進行爬蟲之前，我們先要對要爬取的頁面進行分析，找到想要使用的接口
bilibili熱門排行的地址：https://www.bilibili.com/v/popular/all?spm_id_from=333.851.b_7072696d61727950616765546162.3

如果我們直接進行http請求

import requestsurl = 'https://www.bilibili.com/v/popular/all?' 'spm_id_from=333.851.b_7072696d61727950616765546162.3'response = requests.get(url)print(response.text)

你會發現，返回回來的html里面什么信息都沒有，更別提去處理了

這是因為，這個頁面是使用動態html來進行生成的。你去請求這個url，只會返回一個框架，里面的內容是由ajax&js動態生成的
所以，我們要捕獲對方用來動態生成頁面的接口，以此來請求信息
————————————————————————————————————————

那么，怎么捕獲這個接口呢？
在這個頁面中，我們點擊F12進入開發者模式，選取network欄，過濾XHR(即ajax)

我們發現，每加載一批新的視頻，頁面都會調用一個接口

瞅一眼response

可以看到，所有視頻的信息都在里面
所以，可以確定使用接口名叫做https://api.bilibili.com/x/web-interface/popular
ps和pn都是參數，ps是page_size代表每一頁的視頻個數，pn是page_num，代表請求的頁數
為了確定接口的可用性，用瀏覽器請求一次試試

灰常成功，可以開心地寫程序了！

二、編寫爬蟲

這個爬蟲的大概流程就是訪問對于每一頁發送一個請求，解析數據后保存到/popular/page_n文件夾下

1.引入庫

import requestsimport my_fake_useragentimport timeimport jsonimport os

2.發出請求

2.1生成請求頭

def get_headers(): """ 生成響應頭 :return: 生成的響應頭 """ # 隨機生成user_agent user_agent = my_fake_useragent.UserAgent() ua = str(user_agent.random()) headers = { 'user-agent': ua } return headers

2.2發出請求并獲取響應

def get_response(url, page=1, headers=get_headers()): """ 請求該url并獲得響應 :param url: 要請求的url :param page: 要請求的頁數 :param headers: 請求頭部 :return: 對于請求的響應 """ # 請求的參數 params = { 'ps': '20', 'pn': str(page) } try: # 發出請求 response = requests.get(url=url, params=params, headers=headers) except Exception as e: # 異常識別 return None return response

3.解析響應的內容

剛剛返回的響應特別亂，根本看不懂里面的元素是怎么排列的，所以先去json在線解析解析一下

可以看到，list里面存儲了所有的視頻對象(Object)，我們只需要把它取出來再遍歷就行了

def parse_text(text=None): """ 解析響應的文本 :param text:響應的文本 :return: 由信息字典組成的列表[{info1}, {info2}, {info3}] """ # 將json文件解析為字典 data = json.loads(text) """ data['data']是一個字典，包含若干數據 data['data']['list']是一個字典組成的list，包含每個視頻的信息 """ ret_list = [] temp_dict = {} # 提取數據，生成返回列表 for list_dict in data['data']['list']: # 保存標題 temp_dict['title'] = list_dict['title'] # 保存封面圖片的地址 temp_dict['pic'] = list_dict['pic'] # 保存描述 temp_dict['desc'] = list_dict['desc'] # 保存投稿用戶id temp_dict['name'] = list_dict['owner']['name'] # 保存觀看量 temp_dict['view'] = list_dict['stat']['view'] # 保存收藏數 temp_dict['favorite'] = list_dict['stat']['favorite'] # 保存投幣數 temp_dict['coin'] = list_dict['stat']['coin'] # 保存分享數 temp_dict['share'] = list_dict['stat']['share'] # 保存點贊數 temp_dict['like'] = list_dict['stat']['like'] # 保存BV號 temp_dict['bvid'] = list_dict['bvid'] # 將字典添加到返回列表 ret_list.append(temp_dict.copy()) # 清空字典 temp_dict.clear() return ret_list

4.保存提取的信息到本地

ef save_infos(infos=None, page=1, main_path=None): """ 保存信息到指定的文件夾 :param main_path: 主路徑 :param infos: 要保存的信息 :param page: 要保存到的文件夾序號 """ # 讓編譯器識別一下列表，好把里面的方法識別出來。。。手懶 # infos = [].append(infos) # 創建子文件夾 dir_path = main_path + '/page%d' % page if not os.path.exists(dir_path): os.mkdir(dir_path) # 遍歷讀取到的信息 for info in infos: # 以bv號命名文件 file_path = dir_path + '/' +info['bvid'] + '.text' # 打開文件 with open(file_path, 'w', encoding='utf-8') as fp: # 遍歷字典 for k, v in info.items(): fp.write('%s: %s' % (str(k), str(v))) fp.write('')

5.看看主函數

def main(): # 需要請求的url # 'https://api.bilibili.com/x/web-interface/popular?ps=20&pn=1' url = 'https://api.bilibili.com/x/web-interface/popular' # 創建主文件夾 main_path = url.split('/')[-1] if not os.path.exists(main_path): os.mkdir(main_path) # 設定起始頁碼 page_start = int(input('start: ')) page_end = int(input('end: ')) # page_start = 1 # page_end = 1 # 主循環開始 # 主循環開始 for i in range(page_end - page_start + 1): page_num = i + 1 # 請求頁面并獲得響應 print('第%d頁開始下載……' % page_num) response = get_response(url=url, page=page_num, headers=get_headers()) # 判斷請求是否成功 if not(response is None) and response.status_code == 200: # 請求成功 # 獲取并解析響應的內容 text = response.text infos = parse_text(text) save_infos(infos=infos, page=page_num, main_path=main_path) print('第%d頁下載完成' % page_num) else: # 請求失敗 print('！！第%d頁請求失敗！！' % page_num) continue # 文明爬蟲！！！ time.sleep(3)if __name__ == '__main__': print('開始') start_time = time.time() main() end_time = time.time() print('完成' % (end_time - start_time))

三、運行結果

感謝閱讀！！！

多說一句，很多人學Python過程中會遇到各種煩惱問題，沒有人解答容易放棄。小編是一名python開發工程師，這里有我自己整理了一套最新的python系統學習教程，包括從基礎的python腳本到web開發、爬蟲、數據分析、數據可視化、機器學習等。想要這些資料的可以關注小編，并在后臺私信小編：“01”即可領取。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的ajax headers 参数有什么用_动态爬虫(ajax)-爬取bilibili热门视频信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。