csv python 图片 存_Python|任意网页中的所有网址的保存
生活随笔
收集整理的這篇文章主要介紹了
csv python 图片 存_Python|任意网页中的所有网址的保存
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
參考程序:
import requestsfrom bs4 import BeautifulSoup
import pandas as pd
url = 'https://movie.douban.com/chart' # 設置爬取網址
hd = {"User-agent": "*"} # 設置請求方式
r = requests.get(url,headers=hd)
r.encoding = 'utf-8' # r.apparent_encoding設置網頁字符編碼方式
soup = BeautifulSoup(r.content, 'html.parser')print('網頁標題:',soup.title.text)# 輸出title標簽的內容#排行榜信息
hurl=soup.select('a')#如何獲取超鏈接的網頁標記語言?自己補充
hurls=[]for x in hurl: #請參考清洗圖片的代碼完成網頁超鏈接的清洗
htmlurl=x.attrs['href']
hurls.append(htmlurl)#要存儲的所有的超鏈接print(hurls)print('網頁鏈接清洗完成')
df=pd.DataFrame({'網址':hurls})
df.to_csv('豆瓣的網址.csv',index=0)#作業提交:豆瓣的排行榜.py 豆瓣的網址.py#拓展作業:自己爬一部小說.py 自己爬一個網頁的圖片.py#ftp://172.16.20.46 用戶名密碼:2019
相關文章:
爬蟲系列:程序5-3-3 爬取購物平臺商品銷售數據Python|詞頻云圖爬蟲|爬取全國中小學電腦制作活動技術講座視頻爬蟲|以豆瓣為例簡單地介紹清洗數據的方法爬蟲|以豆瓣為例簡單地介紹爬取網站數據的方法爬蟲|python讀寫csv文件的方法完成生涯規劃表推薦|Python 爬蟲系列教程一爬取批量百度圖片使用BeautifulSoup解析網頁及清洗數據爬蟲的基本原理關于爬蟲的合法性中國爬蟲違法違規案例匯總第五章 數據處理和可視化表達的學習總結
以上是生活随笔為你收集整理的csv python 图片 存_Python|任意网页中的所有网址的保存的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: jsp springmvc 视图解析器_
- 下一篇: 如何把很多照片拼成一张照片_一张25GB