python爬虫下载文件
生活随笔
收集整理的這篇文章主要介紹了
python爬虫下载文件
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Python下載文件的方法有兩種:
下載小文件
from urllib.request import urlretrieve urlretrieve(url, path_name) # url文件下載地址,path_name文件存儲路徑下載大文件
- 導包 import requests
- 使用requests的get函數下載文件,一般需要設置stream參數
- iter_content:一塊一塊的遍歷要下載的內容;
- iter_lines:一行一行的遍歷要下載的內容。
將stream參數設置為True時,下載文件可以防止占用過多的內存,控制每次下載的數據大小。
import requests # url文件下載地址 r = requests.get(url, stream=True) # path_name文件存儲路徑,"wb"以二進制字節方式存儲 f = open(path_name, "wb") # chunk_size是指定每次寫入的大小,每次寫512字節 for text in r.iter_content(chunk_size=512):if text:f.write(text) f.close()總結
以上是生活随笔為你收集整理的python爬虫下载文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2022黑龙江最新建筑八大员(土建)模拟
- 下一篇: 达梦数据库基础知识(十一)管理分区表和分