Python学习---协程 1226
協程【是一個單線程】,又稱微線程,纖程。英文名Coroutine。
一句話說明什么是協程:協程是一種用戶態的輕量級線程【程序員自己去切換線程】
協程條件:
必須在只有一個單線程里實現并發
修改共享數據不需加鎖
用戶程序里自己保存多個控制流的上下文棧
一個協程遇到IO操作自動切換到其它協程
協程原理:
協程擁有自己的寄存器上下文和棧。協程調度切換時,將寄存器上下文和棧保存到其他地方,在切回來的時候,恢復先前保存的寄存器上下文和棧。因此:
協程能保留上一次調用時的狀態(即所有局部狀態的一個特定組合),每次過程重入時,就相當于進入上一次調用的狀態,換種說法:進入上一次離開時所處邏輯流的位置。
協程的好處【Nginx就是協程】:
無需線程上下文切換的開銷【單線程】
無需原子操作鎖定及同步的開銷
"原子操作(atomic operation)是不需要synchronized",所謂原子操作是指不會被線程調度機制打斷的操作;這種操作一旦開始,就一直運行到結束,中間不會有任何 context switch (切換到另一個線程)。原子操作可以是一個步驟,也可以是多個操作步驟,但是其順序是不可以被打亂,或者切割掉只執行部分。視作整體是原子性的核心。
方便切換控制流,簡化編程模型
高并發+高擴展性+低成本:一個CPU支持上萬的協程都不是問題。所以很適合用于高并發處理
協程缺點:
無法利用多核資源【可以通過多進程實現多核利用】:協程的本質是個單線程,它不能同時將單個CPU 的多個核用上,協程需要和進程配合才能運行在多CPU上.當然我們日常所編寫的絕大部分應用都沒有這個必要,除非是cpu密集型應用。
進行阻塞(Blocking)操作(如IO時)會阻塞掉整個程序
最底層實際上使用yield實現協程操作
import time import queue def consumer(name):print("--->starting eating baozi...")while True:new_baozi = yieldprint("[%s] is eating baozi %s" % (name, new_baozi))# time.sleep(1) def producer():r = con.__next__()r = con2.__next__()n = 0while n < 5:n += 1con.send(n)con2.send(n)print("\033[32;1m[producer]\033[0m is making baozi %s" % n) if __name__ == '__main__':con = consumer("c1")con2 = consumer("c2")p = producer()gevent
安裝gevent
Gevent 介紹
???? Gevent 是一個第三方庫,可以輕松通過gevent實現并發同步或異步編程,在gevent中用到的主要模式是Greenlet, 它是以C擴展模塊形式接入Python的輕量級協程。 Greenlet全部運行在主程序操作系統進程的內部,但它們被協作式地調度。
import gevent import time def func1():print(time.ctime(), '\033[31;1mA-->B...\033[0m')gevent.sleep(2) # 模擬IO阻塞print(time.ctime(), '\033[31;1mA-->B...\033[0m') def func2():print(time.ctime(), '\033[32;1mB-->A...\033[0m')gevent.sleep(1) # 模擬IO阻塞print(time.ctime(), '\033[32;1mB-->A...\033[0m') # 一個線程自己切換,共耗時2秒,以最大的為準 gevent.joinall([gevent.spawn(func1),gevent.spawn(func2), ])?
?
Greenlet
greenlet是一個用C實現的協程模塊,相比與python自帶的yield,它可以使你在任意函數之間隨意切換,而不需把這個函數先聲明為generator
# -*- coding:utf-8 -*- from greenlet import greenlet def test1():print(12)gr2.switch()print(34)gr2.switch() def test2():print(56)gr1.switch()print(78) gr1 = greenlet(test1) gr2 = greenlet(test2) gr1.switch()協程爬蟲
遇到IO阻塞時會自動切換任務[協程爬蟲]
from gevent import monkey; monkey.patch_all() # 監聽IO阻塞 import time import gevent from urllib.request import urlopen start = time.time() def f(url, name):print('GET: %s' % url)resp = urlopen(url)data = resp.read()with open(name+'.thml', 'wb') as f:f.write(data)print('%d bytes received from %s.' % (len(data), url)) gevent.joinall([gevent.spawn(f, 'https://www.python.org/', 'python'), # 就是這種格式傳遞參數gevent.spawn(f, 'https://www.yahoo.com/', 'yahoo'),gevent.spawn(f, 'https://github.com/', 'github'), ]) end = time.time() print('gevent 耗時', str(end-start))?
?
?
?
?
?
?
?
?
【更多參考】
http://www.cnblogs.com/alex3714/articles/5248247.html
轉載于:https://www.cnblogs.com/ftl1012/p/9384297.html
總結
以上是生活随笔為你收集整理的Python学习---协程 1226的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: arcgis 10.0中的server报
- 下一篇: [转]MySQL Explain详解