用python爬网站评论_python爬取携程景点评论信息
今天要分析的網站是攜程網，獲取景點的用戶評論，評論信息通過json返回API，頁面是這個樣子的
按下F12之后，F5刷新一下
具體需要URL
Request的方式為POST，還需要你提取的哪一頁，下面圖片顯示了頁面id，景點id(viewid),pagenum頁面數，pagesize頁面的項數等等。
最基本的GET請求可以直接用post方法
response = requests.post("http://www.baidu.com/", data = data)
對于 POST 請求來說，我們一般需要為它增加一些參數。那么最基本的傳參方法可以利用 data 這個參數。
data={
"pageid": "10650000804",
"viewid": 107540,
"tagid": "0",
"pagenum": "1",
"pagesize": "50",
"contentType": "json",
"SortType":"1",
"head": {
"appid": "100013776",
"cid": "09031037211035410190",
"ctok": "",
"cver": "1.0",
"lang": "01",
"sid": "8888",
"syscode": "09",
"auth": "",
"extension": [
{
"name": "protocal",
"value": "https"
}
]
},
"ver": "7.10.3.0319180000"
}
因此
html=requests.post(URL,data=json.dumps(data)).text
html=json.loads(html)
部分結果如下
處理json文件后可以得到如下結果
總結
以上是生活随笔為你收集整理的用python爬网站评论_python爬取携程景点评论信息的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： yolov5实战之皮卡丘检测
- 下一篇： 银行卡号码的校验规则