Python爬取链家成都二手房源信息 asyncio + aiohttp 异步爬虫实战
生活随笔
收集整理的這篇文章主要介紹了
Python爬取链家成都二手房源信息 asyncio + aiohttp 异步爬虫实战
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
本文先熟悉并發與并行、阻塞與非阻塞、同步與異步、多線程、多線程、協程的基本概念。再實現asyncio + aiohttp爬取鏈家成都二手房源信息的異步爬蟲,爬取效率與多線程版進行簡單測試和比較。
原文鏈接:https://yetingyun.blog.csdn.net/article/details/107921563
創作不易,未經作者允許,禁止轉載,更勿做其他用途,違者必究。
1. 基本概念
并發與并行
- 并發: 指在同一時刻只能有一條指令執行,但多個進程指令被快速的輪換執行,使得在宏觀上具有多個進程同時執行的效果,但在微觀上并不是同時執行的,只是把時間分成若干段,使多個進程快速交替的執行。
- 并行: 指在同一時刻,有多條指令在多個處理器上同時執行。所以無論從微觀還是從宏觀來看,二者都是一起執行的。
阻塞與非阻塞
- 阻塞狀態指程序未得到所需計算資源時被掛起的狀態。程序在等待某個操作完成期間,自身無法繼續處理其他的事情,則稱該程序在該操作上是阻塞的。
- 非阻塞:程序在等待某操作過程中,自身不被阻塞,可以繼續處理其他的事情,則稱該程序在該操作上是非阻塞的。
同步與異步
- 同步:不同程序單元為了完成某個任務,在執行過程中需靠某種通信方式以協調一致,我們稱這些程序單元是同步執行的。
- 異步:為完成某個任務&#
總結
以上是生活随笔為你收集整理的Python爬取链家成都二手房源信息 asyncio + aiohttp 异步爬虫实战的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python实例 优化目标函数_pyth
- 下一篇: 全国资格考试网报平台证件照片审核处理系统