爬取堆糖蜜桃猫图片并下载到本地
                                                            生活随笔
收集整理的這篇文章主要介紹了
                                爬取堆糖蜜桃猫图片并下载到本地
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.                        
                                爬去蜜桃貓
大家可以打開堆糖網,不需要登錄,然后搜索蜜桃貓,就會發現許多可愛的蜜桃貓和他的小對象,我們這次的任務就是要爬取蜜桃貓的日常生活。下面是爬取的代碼,我們先提取了每個圖片的鏈接,然后進行了下載。由于搜索到的結果是Ajax,所以需要我們通過json庫來進行爬取。然后用正則表達式來為每個圖片創建自己的名稱。最后進行保存。
import requests import re from requests.exceptions import MissingSchema import json url = [] def get_page():url = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E8%9C%9C%E6%A1%83%E7%8C%AB&type=feed&start=0&limit=100'try:resp = requests.get(url)#print(url)if 200 == resp.status_code:#print(resp.json())return( resp.json())except requests.ConnectionError:return Nonedef get_images(json):if json.get('data'):data = json.get('data')#print(data)object_list = data.get('object_list')for list in object_list:image2 = list.get("photo")images = image2.get("path")save_image(images)def save_image(url):response = requests.get(url)picture = response.content"https://b-ssl.duitang.com/uploads/item/201903/13/20190313105834_vtvmt.jpeg"abc = re.match("^http.*?_(.*?)$",str(url))#print("aa")#print(abc.group(1))num = abc.group(1)path = "d:/py/duitangmitaomao/p/"+str(num)with open(path, "wb") as f:f.write(picture)def main():json = get_page()get_images(json)save_image(url)main()總結
以上是生活随笔為你收集整理的爬取堆糖蜜桃猫图片并下载到本地的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: 数字后端之我见
- 下一篇: 社交类产品创业难点在哪儿?
