爬虫神器:一条命令下载《复仇者联盟3:无限战争》
聽說你學會了爬蟲,并且成功使用 urllib2/requests/scrapy 下載了想要的視頻和音樂,但你有聽過一條命令就能完成視頻和音樂的下載呢?來看看今天帶給你們的神器—?you-get?吧!
1什么是 you-get
you-get 是一個小型的命令行程序,它提供便利的方式來下載網絡上的媒體信息(視頻,音頻,圖像)。you-get 目前支持的國內外網站有80+。國外的?YouTube、Twitter、Instagram 等等都是它支持的網站,國內支持的網站也有很多,如:bilibili、豆瓣、斗魚、騰訊視頻、優酷、芒果TV、快手、抖音、愛奇藝、酷狗音樂、秒拍、音樂Tai等等。最全的網站支持列表請見:https://github.com/soimort/you-get#supported-sites。
2?安裝 you-get
想要安裝 you-get,有以下依賴必須安裝:
Python3
FFmpeg(強烈推薦) or Libav
(可選) RTMPDump
接下來在命令行中輸入:
pip install you-get3使用 you-get 下載視頻
我們來演示下如何通過 you-get 下載視頻,假如我們想要下載《復仇者聯盟3:無限戰爭》的一個預告視頻,地址為:
http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A。
下載之前,我們可以使用?--info/-i 來查看所有可用畫質與格式(注意:Windows 平臺需要將 url 外面的單引號換成雙引號):
$ you-get -i 'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'site: ? ? ? ? ? ? ? ?優酷 (Youku)title: ? ? ? ? ? ? ? 《復仇者聯盟3:無限戰爭》北美正式預告片 十年布局,巔峰一役streams: ? ? ? ? ? ? # Available quality and codecs ? ?[ DEFAULT ] _________________________________ ? ?- format: ? ? ? ?mp4hd3v2 ? ? ?container: ? ? mp4 ? ? ?video-profile: 1080P ? ? ?size: ? ? ? ? ?29.9 MiB (31303414 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd3&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4 ? ?# download-with: you-get --format=mp4hd3v2 [URL] ? ?- format: ? ? ? ?mp4hd2v2 ? ? ?container: ? ? mp4 ? ? ?video-profile: 超清 ? ? ?size: ? ? ? ? ?17.2 MiB (18035231 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd2&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4 ? ?# download-with: you-get --format=mp4hd2v2 [URL] ? ?- format: ? ? ? ?mp4hd ? ? ?container: ? ? mp4 ? ? ?video-profile: 高清 ? ? ?size: ? ? ? ? ?10.3 MiB (10777046 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=mp4&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4 ? ?# download-with: you-get --format=mp4hd [URL] ? ?- format: ? ? ? ?3gphd ? ? ?container: ? ? mp4 ? ? ?video-profile: 渣清 ? ? ?size: ? ? ? ? ?3.9 MiB (4101529 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=mp4&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4 ? ?# download-with: you-get --format=3gphd [URL] ? ?- format: ? ? ? ?mp4sd ? ? ?container: ? ? mp4 ? ? ?video-profile: 標清 ? ? ?size: ? ? ? ? ?5.7 MiB (6020728 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=flv&ups_client_netip=712c9e06&utid=G4t3EzHLgQICAXEsngYS76wa&ccode=0502&psid=888175f6a5e54e15240fc4ff2a5a9f36&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718303&onOff=0&encr=0&ups_key=014c8160e58f685bde0d49447edc5ae4 ? ?# download-with: you-get --format=mp4sd [URL]標有DEFAULT 為默認畫質。如果想要默認的畫質,則直接使用以下命令下載:
$ you-get ?'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'site: ? ? ? ? ? ? ? ?優酷 (Youku)title: ? ? ? ? ? ? ? 《復仇者聯盟3:無限戰爭》北美正式預告片 十年布局,巔峰一役stream: ? ?- format: ? ? ? ?mp4hd3v2 ? ? ?container: ? ? mp4 ? ? ?video-profile: 1080P ? ? ?size: ? ? ? ? ?29.9 MiB (31303414 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=hd3&ups_client_netip=712c9e06&utid=r4p3E1fqEX4CAXEsngYfsVgy&ccode=0502&psid=269429bb15c9f3bc56d9ad545f0835ae&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718195&onOff=0&encr=0&ups_key=3b6bfec46adf4747c607ed4ab4b37cc3 ? ?# download-with: you-get --format=mp4hd3v2 [URL]Downloading 《復仇者聯盟3:無限戰爭》北美正式預告片 十年布局,巔峰一役.mp4 ... 100% ( 29.9/ 29.9MB) ├████████████████████████████████████████┤[1/1] ? ?7 MB/s如果想要下載標清畫質,則可以根據提示 #download-with 使用以下命令來下載:
$ you-get --format=mp4sd 'http://v.youku.com/v_show/id_XMzQ2OTMxMTQ4NA.html?spm=a2h0j.11185381.listitem_page1.5!10~A'site: ? ? ? ? ? ? ? ?優酷 (Youku)title: ? ? ? ? ? ? ? 《復仇者聯盟3:無限戰爭》北美正式預告片 十年布局,巔峰一役stream: ? ?- format: ? ? ? ?mp4sd ? ? ?container: ? ? mp4 ? ? ?video-profile: 標清 ? ? ?size: ? ? ? ? ?5.7 MiB (6020728 bytes) ? ? ?m3u8_url: ? ? ?http://pl-ali.youku.com/playlist/m3u8?vid=XMzQ2OTMxMTQ4NA%3D%3D&type=flv&ups_client_netip=712c9e06&utid=x4t3Ez7Y%2FgUCAXEsnga8QOC7&ccode=0502&psid=a0f83cea8f1d12b44077eb789c32c7a0&duration=143&expire=18000&drm_type=1&drm_device=7&ups_ts=1525718475&onOff=0&encr=0&ups_key=fa6e8812bd282935a8f011e5316a3158 ? ?# download-with: you-get --format=mp4sd [URL]Downloading 《復仇者聯盟3:無限戰爭》北美正式預告片 十年布局,巔峰一役.mp4 ... 100% ( ?5.7/ ?5.7MB) ├████████████████████████████████████████┤[1/1] ? 11 MB/s下載完成后,我們來看下下載后的視頻截圖:
4?其他常用設置參數
除了最基本的下載功能之外,you-get 還有很多其他的參數。
使用?--force/-f?強行重下載. (注意: 將覆蓋同名文件或臨時文件!)
使用?--output-dir/-o?設定路徑,?--output-filename/-O?設定輸出文件名
使用?--http-proxy/-x?為you-get設置HTTP代理
如果需要登錄以觀看 (例如, 私密視頻), 可能必須將瀏覽器cookie通過?--cookies/-c?加載入 you-get
更多關于 you-get 的使用方式請看:https://github.com/soimort/you-get。
總結
以上是生活随笔為你收集整理的爬虫神器:一条命令下载《复仇者联盟3:无限战争》的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux常用命令(第二版) --权限管
- 下一篇: 系统集成资质培训 - 教学方式与效果研究