如何运用python爬游戏皮肤_Python爬虫实战之 爬取王者荣耀皮肤
王者榮耀是目前非常火的一款游戲,相信大家都對其中的人物很感興趣,那么今天就帶大家來爬取王者榮耀的皮膚,可以選一款喜歡的來當電腦壁紙。第一步,拿到url地址
第二步,獲取各個人物皮膚數據
第三步,保存文件
第一步,拿到url地址
這是網站的初始url:
https://pvp.qq.com/web201605/wallpaper.shtml
進入網站后,通過分析,我們觀察到壁紙的鏈接是在li標簽下的a標簽中:
但查看網頁源碼發現,其中沒有找到想要的鏈接數據,考慮接口分析。
在network抓包工具中,考慮圖片鏈接都放在列表中,從中找到帶有worklist字樣的數據,從中找到了我們想要的數據。
需要注意,是第二個而不是第一個,因為第二個worklist包含了第一頁的20張圖片所有數據,而第一個只有一張圖的數據。
這就是圖片的鏈接,只是經過了一些處理:
在Headers下,可以從中得到目標的url:
url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?
activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&p
age=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17107950852797281271_1
597938787695&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=2677
33&iActId=2735&iModuleId=2735&_=1597938787974'
需要注意的是,請求時要把其中的callback參數刪掉。
url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1597938787974'
第二步,獲取各個人物皮膚數據
繼續分析抓包里的數據,可以發現有20個人物的圖片鏈接及圖片人物名稱(每一個人物有8張圖片)。下面來獲取這些數據。
先導入相關模塊:
import requests
import json
from urllib import parse # 解碼網站
from urllib import request # 用于之后的文件下載
import os # 保存文件
構造簡單的requests請求:
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
,'referer':'https://pvp.qq.com/web201605/wallpaper.shtml'
}
resp = requests.get(url,headers=headers)
# 將json數據轉換為字典數據
result = resp.json()
print result
結果如下:
接下來要把List下的各圖片鏈接提取出來,并做一個遍歷,代碼如下:
datas = result['List']
for data in datas:
# 獲取圖片url,并解碼(其中要把url中的200換成0,這樣的圖片更大)
image_urls = [parse.unquote(data['sProdImgNo_{}'.format(i)]).replace('200','0') for i in range(1,9)]
# 獲取圖片的名字,并解碼
name = parse.unquote(data['sProdName'])
print(image_urls)
print(name)
print('=' * 50)
這一步結果如下,可以看到20個人物的圖片鏈接及名字已經爬取到:
第三步,保存文件
這里咱們使用之前導入的os模塊,這樣保存文件更方便,代碼如下:
# 創建文件夾 在文件夾image下創建各自的名字文件
dirpath = os.path.join('image',name)
os.mkdir(dirpath)
# 下載圖片(用enumerate()獲取到各鏈接的索引值)
for index, image_url in enumerate(image_urls):
request.urlretrieve(image_url, os.path.join(dirpath, '%d.jpg' % (index + 1)))
print('%s下載完成!' % (image_url))
結果如下:
這里需要注意,要提前在py文件所在文件夾創建image文件,否則報錯:提示文件路徑不存在。
至此,咱們對王者榮耀皮膚就爬取完畢了,感興趣的小伙伴自己可以試一試!
最近在知乎創建了一個新的Python技術圈子,在里面每天都會分享好玩有趣的Python知識,你如果對Python這門技術感興趣的可以加入哦!交個朋友Python技術 - 知乎?www.zhihu.com
總結
以上是生活随笔為你收集整理的如何运用python爬游戏皮肤_Python爬虫实战之 爬取王者荣耀皮肤的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: javascript取随机数_查缺补漏一
- 下一篇: shell sqlplus执行sql文_