python获取get请求的耗时时间_突破python爬取极限,超牛逼的异步协程爬虫
生活随笔
收集整理的這篇文章主要介紹了
python获取get请求的耗时时间_突破python爬取极限,超牛逼的异步协程爬虫
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
異步協程
1. event_loop
2. coroutine
中文翻譯叫協程,在 Python 中昌指代為協程對象類型,可以將協程對象注冊到時間循環中被調用。使用 async 關鍵字來定義的方法在調用時不會立即執行,而是返回一個協程對象。
總耗時大概是2.65秒,你是不是覺得這就很快了?其實還有更快的代碼:
大約0.98秒就可以爬完所有的網頁。
這是因為第一種方法并不是真正的異步請求,在異步協程中如果出現同步模塊相關的代碼則無法實現異步,比如requests.get()屬于同步模塊的代碼。
要想實現真正的異步協程爬蟲必須使用基于異步的網絡請求模塊,所以要使用 aiohttp 模塊,這個模塊需要安裝:
它的使用與 requests 模塊類似,需要注意的是,aiohttp 獲取響應數據操作之前一定要使用 await 進行掛起。
在執行協程的時候,如果遇到了 await,那么就會將當前協程掛起,轉而執行其它的協程,直到其它協程也掛起或執行完畢,再進行下一個協程的執行。
想學python的小伙伴可以vx關注我:芝麻代理
學習視頻免費分享
回復資料分享即可領取
總結
以上是生活随笔為你收集整理的python获取get请求的耗时时间_突破python爬取极限,超牛逼的异步协程爬虫的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 风控策略和模型的区别_风控模型之产品赢利
- 下一篇: 往map里的vector添加_往鱼缸里添