四十五、爬取QQ音乐Lemon 日语歌的评论
生活随笔
收集整理的這篇文章主要介紹了
四十五、爬取QQ音乐Lemon 日语歌的评论
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
@Author:Runsen
我們繼續學習Python爬蟲。本次爬取的對象是QQ音樂Lemon 日語歌的評論
首先查看一下,我們要爬取的網頁,是否反爬(各種侵害人家服務器的事情,我們不能干)
QQ音樂網址:https://y.qq.com
要查看該網頁的反爬要求,可以直接在網頁后加/robots.txt
QQ音樂反爬要求就是:https://y.qq.com/robots.txt
看了一下官網不給爬的內容,沒有說不可以爬評論,那我們就爬了~
根據我們之前的操作,我們會先右擊看一下網頁源代碼。
如果我們要的內容,就在源代碼里面,那萬事大吉,直接按照我們之前爬豆瓣的那一套來
但是我們爬QQ音樂的時候,很悲傷的發現,網頁源代碼里面,沒有數據了!
其實這和百度圖片一樣,就是一個ajax請求加載的。現在就是要找出對應的json。
XHR 全稱 XMLHttpRequest,它是瀏覽器內置的對象,使得 JavaScript 可以發送 HTTP 請求。
我們先右擊打開“審查元素”,勾選Network—>勾選XHR—>查找我們要的內容
總結
以上是生活随笔為你收集整理的四十五、爬取QQ音乐Lemon 日语歌的评论的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 过次页的合计数是什么
- 下一篇: 四十六、You-Get爬取B站热门排名的