本文目錄并發(fā)編程的基本概念

單線程VS多線程VS多進(jìn)程

性能對(duì)比成果總結(jié)

前言

作為進(jìn)階系列的一個(gè)分支「并發(fā)編程」，我覺得這是每個(gè)程序員都應(yīng)該會(huì)的。

并發(fā)編程?這個(gè)系列，我準(zhǔn)備了將近一個(gè)星期，從知識(shí)點(diǎn)梳理，到思考要舉哪些例子才能更加讓人容易吃透這些知識(shí)點(diǎn)。希望呈現(xiàn)出來的效果真能如想象中的那樣，對(duì)小白也一樣的友好。

昨天大致整理了下，這個(gè)系列我大概會(huì)講如下內(nèi)容(后期可能調(diào)整)：

對(duì)于并發(fā)編程，Python的實(shí)現(xiàn)，總結(jié)了一下，大致有如下三種方法：多線程

多進(jìn)程

協(xié)程(生成器)

在之后的章節(jié)里，將陸陸續(xù)續(xù)地給大家介紹到這三個(gè)知識(shí)點(diǎn)。

.并發(fā)編程的基本概念

在開始講解理論知識(shí)之前，先過一下幾個(gè)基本概念。雖然咱是進(jìn)階教程，但我也希望寫得更小白，更通俗易懂。

串行：一個(gè)人在同一時(shí)間段只能干一件事，譬如吃完飯才能看電視；

并行：一個(gè)人在同一時(shí)間段可以干多件事，譬如可以邊吃飯邊看電視；

在Python中，多線程?和?協(xié)程?雖然是嚴(yán)格上來說是串行，但卻比一般的串行程序執(zhí)行效率高得很。

一般的串行程序，在程序阻塞的時(shí)候，只能干等著，不能去做其他事。就好像，電視上播完正劇，進(jìn)入廣告時(shí)間，我們卻不能去趁廣告時(shí)間是吃個(gè)飯。對(duì)于程序來說，這樣做顯然是效率極低的，是不合理的。

當(dāng)然，學(xué)完這個(gè)課程后，我們就懂得，利用廣告時(shí)間去做其他事，靈活安排時(shí)間。這也是我們多線程和協(xié)程?要幫我們要完成的事情，內(nèi)部合理調(diào)度任務(wù)，使得程序效率最大化。

雖然?多線程?和?協(xié)程?已經(jīng)相當(dāng)智能了。但還是不夠高效，最高效的應(yīng)該是一心多用，邊看電視邊吃飯邊聊天。這就是我們的?多進(jìn)程才能做的事了。

為了更幫助大家更加直觀的理解，在網(wǎng)上找到兩張圖，來生動(dòng)形象的解釋了多線程和多進(jìn)程的區(qū)別。(侵刪)多線程，交替執(zhí)行，另一種意義上的串行。

多進(jìn)程，并行執(zhí)行，真正意義上的并發(fā)。

.單線程VS多線程VS多進(jìn)程

文字總是蒼白無力的，千言萬語不如幾行代碼來得孔武有力。

接下來，讓我們一起用代碼來測(cè)試一下，單線程、多線程、多進(jìn)程到底性能差多少呢？

首先，準(zhǔn)備環(huán)境，我的實(shí)驗(yàn)環(huán)境配置如下：操作系統(tǒng)CPU核數(shù)內(nèi)存(G)硬盤CentOS 7.224核32機(jī)械硬盤注意

以下代碼，若要理解，對(duì)小白有如下知識(shí)點(diǎn)要求:裝飾器的運(yùn)用

多線程的基本使用

多進(jìn)程的基本使用

當(dāng)然，看不懂也沒關(guān)系，主要最后的結(jié)論，能讓大家對(duì)單線程、多線程、多進(jìn)程在實(shí)現(xiàn)效果上有個(gè)大體清晰的認(rèn)識(shí)，達(dá)到這個(gè)效果，本文的使命也就完成了，等到最后，學(xué)完整個(gè)系列，不妨再回頭來理解也許會(huì)有更深刻的理解。

下面我們來看看，單線程，多線程和多進(jìn)程，在運(yùn)行中究竟孰強(qiáng)孰弱。

開始對(duì)比之前，首先定義四種類型的場景CPU計(jì)算密集型

磁盤IO密集型

網(wǎng)絡(luò)IO密集型

【模擬】IO密集型

為什么是這幾種場景，這和多線程?多進(jìn)程的適用場景有關(guān)。結(jié)論里，我再說明。1# CPU計(jì)算密集型

2def count(x=1, y=1):

3 ? ?# 使程序完成150萬計(jì)算

4 ? ?c = 0

5 ? ?while c < 500000:

6 ? ? ? ?c += 1

7 ? ? ? ?x += x

8 ? ? ? ?y += y

9

10

11# 磁盤讀寫IO密集型

12def io_disk():

13 ? ?with open("file.txt", "w") as f:

14 ? ? ? ?for x in range(5000000):

15 ? ? ? ? ? ?f.write("python-learning\n")

16

17

18# 網(wǎng)絡(luò)IO密集型

19header = {

20 ? ?'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}

21url = "https://www.tieba.com/"

22

23def io_request():

24 ? ?try:

25 ? ? ? ?webPage = requests.get(url, headers=header)

26 ? ? ? ?html = webPage.text

27 ? ? ? ?return

28 ? ?except Exception as e:

29 ? ? ? ?return {"error": e}

30

31

32# 【模擬】IO密集型

33def io_simulation():

34 ? ?time.sleep(2)

比拼的指標(biāo)，我們用時(shí)間來考量。時(shí)間耗費(fèi)得越少，說明效率越高。

為了方便，使得代碼看起來，更加簡潔，我這里先定義是一個(gè)簡單的時(shí)間計(jì)時(shí)器?的裝飾器。

如果你對(duì)裝飾器還不是很了解，也沒關(guān)系，你只要知道它是用于 計(jì)算函數(shù)運(yùn)行時(shí)間的東西就可以了。1def timer(mode):

2 ? ?def wrapper(func):

3 ? ? ? ?def deco(*args, **kw):

4 ? ? ? ? ? ?type = kw.setdefault('type', None)

5 ? ? ? ? ? ?t1=time.time()

6 ? ? ? ? ? ?func(*args, **kw)

7 ? ? ? ? ? ?t2=time.time()

8 ? ? ? ? ? ?cost_time = t2-t1

9 ? ? ? ? ? ?print("{}-{}花費(fèi)時(shí)間：{}秒".format(mode, type,cost_time))

10 ? ? ? ?return deco

11 ? ?return wrapper

第一步，先來看看單線程的1@timer("【單線程】")

2def single_thread(func, type=""):

3 ? ?for i in range(10):

4 ? ? ? ? ? ? ?func()

5

6# 單線程

7single_thread(count, type="CPU計(jì)算密集型")

8single_thread(io_disk, type="磁盤IO密集型")

9single_thread(io_request,type="網(wǎng)絡(luò)IO密集型")

10single_thread(io_simulation,type="模擬IO密集型")

看看結(jié)果1【單線程】-CPU計(jì)算密集型花費(fèi)時(shí)間：83.42633867263794秒

2【單線程】-磁盤IO密集型花費(fèi)時(shí)間：15.641993284225464秒

3【單線程】-網(wǎng)絡(luò)IO密集型花費(fèi)時(shí)間：1.1397218704223633秒

4【單線程】-模擬IO密集型花費(fèi)時(shí)間：20.020972728729248秒

第二步，再來看看多線程的1@timer("【多線程】")

2def multi_thread(func, type=""):

3 ? ?thread_list = []

4 ? ?for i in range(10):

5 ? ? ? ?t=Thread(target=func, args=())

6 ? ? ? ?thread_list.append(t)

7 ? ? ? ?t.start()

8 ? ?e = len(thread_list)

9

10 ? ?while True:

11 ? ? ? ?for th in thread_list:

12 ? ? ? ? ? ?if not th.is_alive():

13 ? ? ? ? ? ? ? ?e -= 1

14 ? ? ? ?if e <= 0:

15 ? ? ? ? ? ?break

16

17# 多線程

18multi_thread(count, type="CPU計(jì)算密集型")

19multi_thread(io_disk, type="磁盤IO密集型")

20multi_thread(io_request, type="網(wǎng)絡(luò)IO密集型")

21multi_thread(io_simulation, type="模擬IO密集型")

看看結(jié)果1【多線程】-CPU計(jì)算密集型花費(fèi)時(shí)間：93.82986998558044秒

2【多線程】-磁盤IO密集型花費(fèi)時(shí)間：13.270896911621094秒

3【多線程】-網(wǎng)絡(luò)IO密集型花費(fèi)時(shí)間：0.1828296184539795秒

4【多線程】-模擬IO密集型花費(fèi)時(shí)間：2.0288875102996826秒

第三步，最后來看看多進(jìn)程1@timer("【多進(jìn)程】")

2def multi_process(func, type=""):

3 ? ?process_list = []

4 ? ?for x in range(10):

5 ? ? ? ?p = Process(target=func, args=())

6 ? ? ? ?process_list.append(p)

7 ? ? ? ?p.start()

8 ? ?e = process_list.__len__()

9

10 ? ?while True:

11 ? ? ? ?for pr in process_list:

12 ? ? ? ? ? ?if not pr.is_alive():

13 ? ? ? ? ? ? ? ?e -= 1

14 ? ? ? ?if e <= 0:

15 ? ? ? ? ? ?break

16

17# 多進(jìn)程

18multi_process(count, type="CPU計(jì)算密集型")

19multi_process(io_disk, type="磁盤IO密集型")

20multi_process(io_request, type="網(wǎng)絡(luò)IO密集型")

21multi_process(io_simulation, type="模擬IO密集型")

看看結(jié)果1【多進(jìn)程】-CPU計(jì)算密集型花費(fèi)時(shí)間：9.082211017608643秒

2【多進(jìn)程】-磁盤IO密集型花費(fèi)時(shí)間：1.287339448928833秒

3【多進(jìn)程】-網(wǎng)絡(luò)IO密集型花費(fèi)時(shí)間：0.13074755668640137秒

4【多進(jìn)程】-模擬IO密集型花費(fèi)時(shí)間：2.0076842308044434秒

.性能對(duì)比成果總結(jié)

將結(jié)果匯總一下，制成表格。種類CPU

計(jì)算密集型磁盤

IO密集型網(wǎng)絡(luò)

IO密集型模擬

IO密集型單線程83.4215.641.1320.02

多線程93.8213.270.182.02

多進(jìn)程9.081.280.132.01

我們來分析下這個(gè)表格。

首先是CPU密集型，多線程以對(duì)比單線程，不僅沒有優(yōu)勢(shì)，顯然還由于要不斷的加鎖釋放GIL全局鎖，切換線程而耗費(fèi)大量時(shí)間，效率低下，而多進(jìn)程，由于是多個(gè)CPU同時(shí)進(jìn)行計(jì)算工作，相當(dāng)于十個(gè)人做一個(gè)人的作業(yè)，顯然效率是成倍增長的。

然后是IO密集型，IO密集型可以是磁盤IO，網(wǎng)絡(luò)IO，數(shù)據(jù)庫IO等，都屬于同一類，計(jì)算量很小，主要是IO等待時(shí)間的浪費(fèi)。通過觀察，可以發(fā)現(xiàn)，我們磁盤IO，網(wǎng)絡(luò)IO的數(shù)據(jù)，多線程對(duì)比單線程也沒體現(xiàn)出很大的優(yōu)勢(shì)來。這是由于我們程序的的IO任務(wù)不夠繁重，所以優(yōu)勢(shì)不夠明顯。

所以我還加了一個(gè)「模擬IO密集型」，用sleep來模擬IO等待時(shí)間，就是為了體現(xiàn)出多線程的優(yōu)勢(shì)，也能讓大家更加直觀的理解多線程的工作過程。單線程需要每個(gè)線程都要sleep(2)，10個(gè)線程就是20s，而多線程，在sleep(2)的時(shí)候，會(huì)切換到其他線程，使得10個(gè)線程同時(shí)sleep(2)，最終10個(gè)線程也就只有2s.

可以得出以下幾點(diǎn)結(jié)論單線程總是最慢的，多進(jìn)程總是最快的。

多線程適合在IO密集場景下使用，譬如爬蟲，網(wǎng)站開發(fā)等

多進(jìn)程適合在對(duì)CPU計(jì)算運(yùn)算要求較高的場景下使用，譬如大數(shù)據(jù)分析，機(jī)器學(xué)習(xí)等

多進(jìn)程雖然總是最快的，但是不一定是最優(yōu)的選擇，因?yàn)樗枰狢PU資源支持下才能體現(xiàn)優(yōu)勢(shì)

總結(jié)

以上是生活随笔為你收集整理的python和java对比并发_Python并发编程之从性能角度来初探并发编程（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。