python实例100例百度文库-18个Python爬虫实战案例(已开源)
目錄
爬蟲小工具
文件下載小助手
爬蟲實戰(zhàn)
筆趣看小說下載
VIP視頻下載
百度文庫文章下載_rev1
百度文庫文章下載_rev2
《帥啊》網帥哥圖片下載
構建代理IP池
《火影忍者》漫畫下載
財務報表下載小助手
一小時入門網絡爬蟲
抖音App視頻下載_rev1
抖音App視頻下載_rev2
抖音App視頻下載_rev3
GEETEST驗證碼破解
12306搶票小助手
百萬英雄答題輔助系統(tǒng)
網易云音樂批量下載
B站視頻和彈幕批量下載
其他
爬蟲小工具
downloader.py:文件下載小助手
一個可以用于下載圖片、視頻、文件的小工具,有下載進度顯示功能。稍加修改即可添加到自己的爬蟲中。
動態(tài)示意圖:
爬蟲實戰(zhàn)
1、 biqukan.py:《筆趣看》盜版小說網站,爬取小說工具
第三方依賴庫安裝:
pip3 install beautifulsoup4
使用方法:
python biqukan.py
2、video_downloader:愛奇藝等主流視頻網站的VIP視頻破解助手(暫只支持PC和手機在線觀看VIP視頻!)
解壓密碼: cuijiahua.com
無需Python3環(huán)境,在Windows下,解壓即用!軟件使用方法
源碼可查看video_downloader,運行源碼需要搭建Python3環(huán)境,并安裝相應第三方依賴庫:
在video_downloader文件夾下,安裝第三方依賴庫:
pip3 install -r requirements.txt
使用方法:
python movie_downloader.py
運行環(huán)境:
Windows, Python3 Linux,Python3 Mac, Python3
3、baiduwenku.py:百度文庫word文章爬取
代碼不完善,沒有進行打包,不具有通用性,純屬娛樂,以后有時間完善
4、shuaia.py: 爬取《帥啊》網,帥哥圖片
5、daili.py: 構建代理IP池
6、carton: 使用Scrapy爬取《火影忍者》漫畫
代碼可以爬取整個《火影忍者》漫畫所有章節(jié)的內容,保存到本地。更改地址,可以爬取其他漫畫。保存地址可以在settings.py中修改。
7、hero.py: 《王者榮耀》推薦出裝查詢小助手
網頁爬取已經會了,想過爬取手機APP里的內容嗎?
8、financical.py: 財務報表下載小助手
爬取的數據存入數據庫會嗎?《跟股神巴菲特學習炒股之財務報表入庫(MySQL)》也許能給你一些思路。
動態(tài)示意圖:
9、one_hour_spider: 一小時入門Python3網絡爬蟲
原理說明:
本次實戰(zhàn)內容有:
網路小說下載(靜態(tài)網站)-biqukan
優(yōu)美壁紙下載(動態(tài)網站)-unsplash
愛奇藝VIP視頻下載
10、douyin.py: 抖音App視頻下載
抖音App的視頻下載,就是普通的App爬取。
11、douyin_pro: 抖音App視頻下載(升級版)
抖音App的視頻下載,添加視頻解析網站,支持無水印視頻下載,使用第三方平臺解析。
12、douyin_pro_2: 抖音App視頻下載(升級版2)
抖音App的視頻下載,添加視頻解析網站,支持無水印視頻下載,通過url解析,無需第三方平臺。
動態(tài)示意圖:
13、geetest.py: GEETEST驗證碼破解
爬蟲最大的敵人之一是什么?沒錯,驗證碼!Geetest作為提供驗證碼服務的行家,市場占有率還是蠻高的。遇到Geetest提供的滑動驗證碼怎么破?授人以魚不如授人以漁,接下來就為大家呈現本教程的精彩內容。
動態(tài)示意圖:
14、12306.py:用Python搶火車票簡單代碼
可以自己慢慢豐富,蠻簡單,由爬蟲基礎很好操作,沒有原理說明。
15、baiwan: 百萬英雄輔助答題
效果圖:
功能介紹:
服務器端,使用Python(baiwan.py)通過抓包獲得接口獲取答題數據,解析之后通過百度知道搜索接口匹配答案,將最終匹配的結果寫入文件(file.txt)。
手機抓包不會的朋友,可以看下我的早期手機APP抓包教程。
Node.js(app.js)每隔1s讀取一次file.txt文件,并將讀取結果通過socket.io推送給客戶端(index.html)>
親測答題延時在3s左右。
聲明:沒做過后盾和前端,花了一天時間,現學現賣弄好的,javascript也是現看現用,百度的程序,調試調試而已,可能有很多用法比較low的地方,用法不對,請勿見怪。
16、Netease:根據歌單下載網易云音樂
效果圖:
功能介紹: 根據music_list.txt文件里的歌單的信息下載網易云音樂,將自己喜歡的音樂進行批量下載。
17、bilibili: B站視頻和彈幕批量下載
使用說明:
python bilibili.py -d 貓 -k 貓 -p 10
三個參數:
-d 保存視屏的文件夾名
-k B站搜索的關鍵字
-p 下載搜索結果前多少頁
總結
以上是生活随笔為你收集整理的python实例100例百度文库-18个Python爬虫实战案例(已开源)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php后台视频教程,php实战开发电商后
- 下一篇: android 彻底 关 亮度,Andr