【requests】Python轻松爬取FTP
生活随笔
收集整理的這篇文章主要介紹了
【requests】Python轻松爬取FTP
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
requests這么強大,但是直接用requests.get()去操作ftp協議的url時候,就是沒有辦法處理。
這里介紹一個國外的小哥做的庫,超級贊!
叫做requests_ftp。結合requests使用就可以爬取ftp協議的url了。
下載方法: pip install requests-ftp
代碼
解釋:
下面代碼中有些需要修改
- url的地址可以寫成ftp鏈接
- Username那里可以換成用戶名
- Password那里換成密碼
部分語句的理解
- requests_ftp.monkeypatch_session() 這個語句就是做了一個補丁。就是做了一個特定效果的適應性改變代碼。這里的補丁主要是擴展了requests.Session()的方法。比如下面就使用了其中擴展出來的list,就是列出ftp中的文件。這個還是比較常見的~
- s.list()函數中,url是網頁具體地址。auth用一個元組去包括,表示訪問url的用戶以及密碼。
- encoding這里就跟沒有補丁前的一樣的效果。
輸出
下面是我用上面的代碼訪問我們學校的計算機網絡實驗課的內容。
drwxr-xr-x 1 ftp ftp 0 Mar 26 2018 實驗1-FTP協議分析 drwxr-xr-x 1 ftp ftp 0 Apr 02 2018 實驗2-編程實驗 drwxr-xr-x 1 ftp ftp 0 Apr 12 2018 實驗3-VLAN drwxr-xr-x 1 ftp ftp 0 Apr 23 10:12 實驗4-生成樹 drwxr-xr-x 1 ftp ftp 0 Apr 28 13:23 實驗5-鏈路聚合 -r--r--r-- 1 ftp ftp 4481024 Mar 11 2018 實驗基礎(1).ppt -r--r--r-- 1 ftp ftp 1911808 Oct 11 2017 實驗基礎(2).ppt -r--r--r-- 1 ftp ftp 38400 Oct 21 2014 實驗心得體會統一模板.doc drwxr-xr-x 1 ftp ftp 0 May 14 10:29 實驗6-Ad-Hoc實驗 -r--r--r-- 1 ftp ftp 167246 Oct 19 2015 常用操作.JPG -r--r--r-- 1 ftp ftp 733184 Mar 11 2018 課程信息.ppt -r--r--r-- 1 ftp ftp 6144 Mar 17 2018 選課結果1.xls -r--r--r-- 1 ftp ftp 12800 Mar 17 2018 選課結果2.xls總結
以上是生活随笔為你收集整理的【requests】Python轻松爬取FTP的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【解决方案】requests.excep
- 下一篇: 爬取CSDN最新月份所写的文章的最高阅读