前言

其實(shí)關(guān)于Python的并發(fā)編程是比較難寫的一章，因?yàn)樯婕暗降闹R很復(fù)雜并且理論偏多，所以在這里我盡量的用一些非常簡明的語言來盡可能的將它描述清楚，在學(xué)習(xí)之前首先要記住一個點(diǎn)： 并發(fā)編程永遠(yuǎn)的宗旨就是提高程序的運(yùn)行效率，也是圍繞CPU來進(jìn)行優(yōu)化的一種技術(shù)手段。

像我們之前學(xué)習(xí)過的網(wǎng)絡(luò)編程中，我們只是基于 socketserver 模塊讓我們的Server端有了處理多任務(wù)的能力，但是我們并不了解它的底層是怎么做到的，在學(xué)習(xí)完并發(fā)編程后，嘗試自己閱讀一下 socketserver 源碼，你將會大有收獲。

并發(fā)編程很重要嗎?是的，非常重要，如果你想進(jìn)入 PythonWeb 領(lǐng)域那么著名的框架如 Django ， Tornado ， Flask 等等底層都是有基于本章節(jié)的知識點(diǎn)，如果你想進(jìn)入爬蟲領(lǐng)域那就更不用說了，非常強(qiáng)大的 scrapy 框架也是基于我們所學(xué)的這些東西累積起來的。

好了廢話不多說，讓我們開始進(jìn)入并發(fā)編程的學(xué)習(xí)吧。

從任務(wù)處理角度看待操作系統(tǒng)發(fā)展史

這一節(jié)主要是理論知識，了解計(jì)算機(jī)任務(wù)處理方式的演變過程，能夠讓我們更快的理解和學(xué)習(xí)并發(fā)編程。

首先，我們先來回顧一下操作系統(tǒng)方面的一些知識。

操作系統(tǒng)的作用：管理硬件，目的就是讓用戶更加方便的來操控計(jì)算機(jī)底層的硬件。

可以看到操作系統(tǒng)對于人們操控計(jì)算機(jī)進(jìn)行作業(yè)有著不可小覷的功勞，那么在早期沒有操作系統(tǒng)的時候你能想象是什么樣子嗎？現(xiàn)在我們來看一看。

無操作系統(tǒng)時任務(wù)的處理方式

早期的計(jì)算機(jī)并沒有操作系統(tǒng) ，而是通過紙帶來進(jìn)行程序的編輯，它有三臺設(shè)備分別是：輸入機(jī)，計(jì)算機(jī)，輸出機(jī)。

那個時候的程序員需要一起約定好時間，來輪流的對自己的程序進(jìn)行優(yōu)化，因?yàn)槟莻€時候的計(jì)算機(jī)在同一時刻下只能由一個人去運(yùn)行和掌控，我們來看一下它的計(jì)算流程：

這個時代的計(jì)算機(jī) 一次只能跑一個人的程序 ，沒有其他干擾，那么它的缺點(diǎn)也很明顯，一次只能一個人使用而后面想要使用的人必須得等待前一個人用完之后才行。其執(zhí)行效率非常低下，最關(guān)鍵的就是 人在進(jìn)行與計(jì)算機(jī)交互的時候計(jì)算機(jī)的運(yùn)算器是沒有任何工作的，這就造成了資源上極大的浪費(fèi) ，那么這種浪費(fèi)可以理解為 I/O阻塞 。

為了解決這個問題，批處理系統(tǒng)橫空出世了。

批處理系統(tǒng)的誕生

相比于前一代計(jì)算機(jī)處理任務(wù)的方式，批處系統(tǒng)的誕生讓這一代計(jì)算機(jī)有了極大的進(jìn)步，并且輸入也不再使用紙帶，而是采用磁帶，批處理操作系統(tǒng) 可以將多個用戶的任務(wù)同時提交(但是不能同時運(yùn)行)。

假設(shè)有三個程序員需要使用這臺計(jì)算機(jī)，他們將自己的程序全部交由一個程序員讓其進(jìn)行人機(jī)之間的交互，那么這樣就 節(jié)省了三倍的時間 。但是這樣的缺點(diǎn)也很明顯， 只能等待三個人的程序全部處理完后大家才能拿到各自的結(jié)果 ，這個等待過程是十分漫長的。

在這里，出現(xiàn)了一種自動化的工作方式， 計(jì)算機(jī)也就是中間的7094機(jī)器能夠去區(qū)分出每個程序員自己的程序 ，那么其內(nèi)部肯定是由一種代碼支持它有了這種功能，那個這個就是批處理系統(tǒng)。

單處理的批處理系統(tǒng)最大的缺點(diǎn)依然還是擁有 I/O阻塞 ，能不能把中間的兩個小人全部干掉讓計(jì)算機(jī)來做他們做的事兒呢？當(dāng)然可以，但是....當(dāng)時的人還沒那么聰明。

我們再來想一個問題，如果程序員A的程序出錯了，它第一時間拿不到，返回會一直卡在那，程序員B和程序員C也不用拿了，反正都出不來。是不是很蛋疼？

后來慢慢的經(jīng)過時間的積累與技術(shù)的成熟，針對這一代的批處理系統(tǒng)的缺點(diǎn)，又出現(xiàn)了新一代操作系統(tǒng)。

多道程序設(shè)計(jì)與分時操作系統(tǒng)的誕生

在這一代操作系統(tǒng)中最先出現(xiàn)了一種技術(shù)，名叫 SPOOLING 技術(shù)，這個技術(shù)的出現(xiàn)讓上圖的兩個小人下崗了。 SPOOLING 技術(shù)的出現(xiàn)極大的減少了 I/O阻塞 的時間，除此之外，該代操作系統(tǒng)還提出了一個非常重要的思想，即 多道程序設(shè)計(jì) 的思想，這個技術(shù)思想目前在我們的進(jìn)程中依然存在，它的主要功能就是解決了順序執(zhí)行(串行)的問題。

盡管這樣做的確讓程序效率提高了，但是我們還有一個問題。計(jì)算機(jī)中依然是批處理系統(tǒng)，還是要等A,B,C的叅櫊程序同時出結(jié)果才能拿到最終結(jié)果，這個時間太長了，就想上面說的如果程序員A的程序出錯了卡住了程序員B和C的正常程序也取不出來。

有的人開始懷念最早的無操作系統(tǒng)時代的計(jì)算機(jī)了，太懷念了，我一個人的程序十分鐘我就出來了，三個人的我要等三十分鐘，如果有一個出錯了我的等在久也出不來，我太難了...

為了解決這種問題，出現(xiàn)了極為牛逼的 分時操作系統(tǒng) 。

分時很形象的一個比喻就是一臺電腦給A,B,C每個程序員一個鍵盤鼠標(biāo)和顯示器，大家共有一個主機(jī)各玩各的互不影響，都認(rèn)為自己的程序是獨(dú)享的并且馬上就能看到自己程序的運(yùn)行結(jié)果，你說牛不牛逼？大家都很開心，但是實(shí)際上大家還是共用的同一個CPU...( 多用戶多任務(wù) )。

分時操作系統(tǒng)到現(xiàn)在依然存在，并且還十分常見，比如許多人去操作同一臺服務(wù)器。

這時候大家就在考慮，你丫鍵盤鼠標(biāo)顯示器啥都給我了，為啥不再給我一個主機(jī)呢？這其實(shí)還是受限于當(dāng)時的成本條件，但是到了如今計(jì)算機(jī)的成本以及體積都下來后，這些都不是問題了。

個人操作系統(tǒng)的誕生

現(xiàn)在咱們大家都是用的個人操作系統(tǒng)，已經(jīng)挺熟練了吧，這個玩意兒每個人都在玩，但是雖然大家不共有一個CPU了，其實(shí)在系統(tǒng)內(nèi)部依然存在著切換，它就是進(jìn)程或者線程之間的切換。

應(yīng)用程序與系統(tǒng)之間的關(guān)系

現(xiàn)在咱們聊一聊應(yīng)用程序與系統(tǒng)之間的關(guān)系，其實(shí)對于開發(fā)者而已，我們與操作系統(tǒng)之間是隔了很多層的。如圖所示：

所以，我們自己寫的程序要想運(yùn)行，必須從上至下的依次經(jīng)過這些關(guān)卡。

為什么要聊這個，因?yàn)榱耐赀@個之后我們才能接著往下看。

并發(fā)并行阻塞非阻塞同步異步

這幾個概念將貫穿接下來的所有學(xué)習(xí)。

并發(fā)和并行是指操作系統(tǒng)處理任務(wù)的能力：( 一個一個處理？一次處理多個？ )

并發(fā)：操作系統(tǒng)具有處理多個任務(wù)的能力。

并行：操作系統(tǒng)具有 同時 處理多個任務(wù)的能力。

PS：并發(fā)包含并行。這里再提一個偽并行，就是看起來像是同時處理，但是實(shí)際上并不是同時處理。

同步和異步是指任務(wù)的提交方式：( 任務(wù)提交完后等你結(jié)果我再進(jìn)行下一步操作？或者不等你的結(jié)果我接著干我的其他事？ )

同步：任務(wù)提交之后，原地等待任務(wù)的返回結(jié)果，等待的過程中不做任何事。(干等)，程序上面表現(xiàn)出來的感覺就是卡住了。

異步：任務(wù)提交之后，不原地等待任務(wù)的返回結(jié)果，直接去做其他事情，等待任務(wù)的返回結(jié)果自動提交給調(diào)用者。

Ps: 對于異步來說，那么我們提交任務(wù)后的返回結(jié)果如何獲取？

提交任務(wù)后的返回結(jié)果會有一個異步回調(diào)機(jī)制自動處理，可以理解為當(dāng)該任務(wù)有結(jié)果就會自動返回回來。給你打電話告訴你一聲我這邊完成了，你別忙了，看我一眼。

阻塞和非阻塞是指程序的運(yùn)行狀態(tài)：( 程序現(xiàn)在卡住了嗎？卡住了就是阻塞，沒卡就是非阻塞 )

阻塞：是指調(diào)用某個函數(shù)的時候被卡住不動了，比如 input() 函數(shù)會導(dǎo)致阻塞

非阻塞：是指調(diào)用某個函數(shù)的時候不會卡住，而是立即返回的一種形式

進(jìn)程理論

進(jìn)程的定義

大白話版本：

進(jìn)程你可以把它當(dāng)做一件屋子，里面放了很多物件(資源)， 所以進(jìn)程就是最小的資源單位。 另外我們要注意一點(diǎn)，程序只有在運(yùn)行狀態(tài)時才會產(chǎn)生進(jìn)程，而不運(yùn)行的時候就是一堆死代碼。

程序是一堆躺在硬盤上的代碼，是"死"的

進(jìn)程則是表示程序正在執(zhí)行的過程，是"活的"

所以說，進(jìn)程這玩意兒就是在程序執(zhí)行過程中產(chǎn)生的，它會有一些資源狀態(tài)放在這個屋子里。

并且一定要注意，進(jìn)程這玩意兒是一個系統(tǒng)級別的概念，進(jìn)程是由操作系統(tǒng)創(chuàng)建出來的。程序執(zhí)行的時候我們就會有一個進(jìn)程，當(dāng)然一個程序運(yùn)行中也可以產(chǎn)生多個進(jìn)程。

專業(yè)版本

詳細(xì)定義：

進(jìn)程就是一個程序在一個數(shù)據(jù)集上的一次動態(tài)執(zhí)行過程。

進(jìn)程一般由程序、數(shù)據(jù)集、進(jìn)程控制塊三部分組成。

我們編寫的程序用來描述進(jìn)程要完成哪些功能以及如何完成；

數(shù)據(jù)集則是程序在執(zhí)行過程中所需要使用的資源；

進(jìn)程控制塊用來記錄進(jìn)程的外部特征，描述進(jìn)程的執(zhí)行變化過程，系統(tǒng)可以利用它來控制和管理進(jìn)程，它是系統(tǒng)感知進(jìn)程存在的唯一標(biāo)志。

數(shù)據(jù)集提供所有程序運(yùn)行時需要的資源，進(jìn)程控制塊用來記錄程序的狀態(tài)，比如說掛起被切換狀態(tài)還是運(yùn)行狀態(tài)等等...

進(jìn)程間的數(shù)據(jù)交互

進(jìn)程之間按理說是不應(yīng)該允許彼此之間數(shù)據(jù)交互的， 因?yàn)槊總€進(jìn)程都是一間獨(dú)立的小房子，每個小房子的資源都是自己獨(dú)享的。 但是我們之前學(xué)過 socket 模塊，這玩意兒最早就是用來解決進(jìn)程間數(shù)據(jù)交互(進(jìn)程間通信)問題的。

所以，進(jìn)程之間雖然默認(rèn)不支持?jǐn)?shù)據(jù)交互，但是我們可以使用某些特殊手段讓兩個進(jìn)程之間支持?jǐn)?shù)據(jù)交互，但是這不是很容易就能完成的，需要付出一些代價(jià)。

進(jìn)程切換

一個CPU核心同一時刻最多只能運(yùn)行一個進(jìn)程，而多個CPU核心同一時刻可以運(yùn)行多個進(jìn)程，這個就是并發(fā)的體現(xiàn)。 我們說過，多道技術(shù)的產(chǎn)生解決了程序串行的問題，那么就必然涉及到進(jìn)程切換。 進(jìn)程切換實(shí)際上是由操作系統(tǒng)說了算，除了我們的I/O操作切換外，它還有以下控制進(jìn)程切換的手段，PS：進(jìn)程的切換代價(jià)也是比較巨大的，因?yàn)橐坏┣袚Q就要保證當(dāng)前進(jìn)程中的資源數(shù)據(jù)，而切換回來時又要將進(jìn)程的狀態(tài)復(fù)原 ：

1.先來先服務(wù)算法

誰先開辟了一個小屋子，那么就先運(yùn)行你。這個說白了對一個存活時間很短的進(jìn)程是相當(dāng)不利的，如果一個存活時間很長的進(jìn)程占用了一個CPU核心，那么恰巧這個CPU又是單核的，其他存活時間短的進(jìn)程永遠(yuǎn)也得不到CPU的眷顧了。所以單一的這種策略不行。

2.短作業(yè)優(yōu)先調(diào)度算法

誰的進(jìn)程作業(yè)時間短(即存活時間短)就先運(yùn)行誰，顯然，單一的這種算法會讓長作業(yè)進(jìn)程得不到CPU眷顧，故也不能一直采取這種策略。

3.時間片輪轉(zhuǎn)(時間輪詢)

什么意思呢？就是說假如有多個進(jìn)程，我每個進(jìn)程讓你運(yùn)行個三五秒就切換到另一個進(jìn)程運(yùn)行，如此來回切換就是時間片輪轉(zhuǎn)。即將時間切成一段。

4.多級反饋隊(duì)列

這個其實(shí)是基于時間片輪轉(zhuǎn)做的，它會將當(dāng)前所有的活動進(jìn)程送入一個隊(duì)列中，根據(jù)存活時間來為其分配到不同的隊(duì)列中，進(jìn)程存活時間越久，其得到CPU眷顧的次數(shù)越低。如圖：

其實(shí)在Linux系統(tǒng)中，我們可以為一個進(jìn)程分配更多的時間片與更高的優(yōu)先級，這里暫且先不提。

線程理論

線程的定義

大白話版：

每個進(jìn)程存在的時候都默認(rèn)會有一個線程，如果把進(jìn)程比喻做房子，那么線程就是房子里的人(可以有一個也可以有多個，默認(rèn)一個)。線程才是真正干活的單位， 因此線程是最小的執(zhí)行單位，線程共享進(jìn)程中所有數(shù)據(jù)(進(jìn)程資源集)。

進(jìn)程和線程是一個包含關(guān)系：必須有進(jìn)程才有線程，就像線程這個人必須住在進(jìn)程的房子里。

專業(yè)版本：

線程詳細(xì)定義：

1 一個程序至少有一個進(jìn)程,一個進(jìn)程至少有一個線程.(進(jìn)程可以理解成線程的容器)

2 進(jìn)程在執(zhí)行過程中擁有獨(dú)立的內(nèi)存單元，而多個線程共享內(nèi)存，從而極大地提高了程序的運(yùn)行效率。

3 線程在執(zhí)行過程中與進(jìn)程還是有區(qū)別的。每個獨(dú)立的線程有一個程序運(yùn)行的入口、順序執(zhí)行序列和程序的出口。但是線程不能夠獨(dú)立執(zhí)行，必須依存在應(yīng)用程序中，由應(yīng)用程序提供多個線程執(zhí)行控制。

4 進(jìn)程是具有一定獨(dú)立功能的程序關(guān)于某個數(shù)據(jù)集合上的一次運(yùn)行活動,進(jìn)程是系統(tǒng)進(jìn)行資源分配和調(diào)度的一個獨(dú)立單位. 線程是進(jìn)程的一個實(shí)體,是CPU調(diào)度和分派的基本單位,它是比進(jìn)程更小的能獨(dú)立運(yùn)行的基本單位.線程自己基本上不擁有系統(tǒng)資源,只擁有一點(diǎn)在運(yùn)行中必不可少的資源(如程序計(jì)數(shù)器,一組寄存器和棧)但是它可與同屬一個進(jìn)程的其他的線程共享進(jìn)程所擁有的全部資源. 一個線程可以創(chuàng)建和撤銷另一個線程;同一個進(jìn)程中的多個線程之間可以并發(fā)執(zhí)行。

線程間的數(shù)據(jù)交互

線程必須存在于進(jìn)程中，我們上面說過一個進(jìn)程可以有多個線程，那么想當(dāng)然的該進(jìn)程里的所有資源都可以被位于該進(jìn)程中的線程所拿到。

而跨進(jìn)程之間的線程就是屬于進(jìn)程間的數(shù)據(jù)交互了。

但是我們一定要注意一點(diǎn)，就是線程安全。這句話怎么說呢？就是這個房子里有一顆糖，被一個小人吃了，那么其他的小人也應(yīng)該知道這顆糖沒了才行。雖然聽起來很符合邏輯，但是別忘了線程不是真正的人，它是傻的，所以當(dāng)我們進(jìn)行線程之間數(shù)據(jù)交互的時候一定要注意線程安全 。

線程安全的問題還是由于線程切換導(dǎo)致的，比如這個房間一共有10顆糖，一個小人吃了3顆糖被CPU通知歇息一會，那么他會認(rèn)為還剩下7顆糖，另一個干活的小人又吃了3顆糖后去休息了，那么現(xiàn)在第一個休息的小人上線了，但是真正的糖果數(shù)量只剩下了4顆，他還傻乎乎的任務(wù)是7顆。

線程切換

線程切換與進(jìn)程切換如出一轍，看上面的就行了。

Python中的GIL鎖

終于聊到這個話題了，GIL鎖被稱為全局解釋器鎖。這玩意兒直接讓Python的多線程殘了，我們用圖來解釋這個鎖是干嘛用的：

我們再來看一眼諸如C#或者Java中的多線程運(yùn)行是怎么樣的。

所以！Python中的多線程沒有并行操作！同時處理多個事對于Python里的單進(jìn)程下的多線程來說是做不到的，那么我們可以怎么辦呢？

自己在學(xué)GIL鎖時作的筆記：

Python中的一個線程對應(yīng)于C語言中的一個線程( 基于CPython )，而 CPython前面也已經(jīng)說過了。會將函數(shù)轉(zhuǎn)變?yōu)榭蓤?zhí)行的字節(jié)碼，而多個線程同時運(yùn)行一段字節(jié)碼是很有可能出錯的，為了避免這個錯誤所以Python使用了GIL鎖限制了多線程技術(shù)。 具體如下:

GIL 使得同一個時刻只能有一個線程在 CPU 上執(zhí)行字節(jié)碼( 一般情況下 )，無法將多個線程映射到多個CPU 上去執(zhí)行。 ? 因此 Python多線程的GIL鎖 注定了其在多線程任務(wù)處理并沒有太大優(yōu)勢

當(dāng)GIL 鎖死一個線程之后，并不是非要等這個線程運(yùn)行完后才會釋放。而是會在適當(dāng)?shù)臅r候就進(jìn)行釋放 :

1：時間輪詢機(jī)制

2： I/O操作

所以Python中線程的并行操作是不被支持的(Cpython)，Python并不適合做多線程的大量計(jì)算。這樣的時間遠(yuǎn)不如串行來的簡單，因?yàn)樵诰€程切換之中會導(dǎo)致運(yùn)行速度的減緩。

Python中的線程不能并行，但是進(jìn)程是存在并行的。所以，Python的線程更加適用于密集型I/O操作比如網(wǎng)絡(luò)爬蟲方面，Python的GIL鎖在某種程度上來說是保護(hù)了線程安全，但是更多的被人詬病。開發(fā)團(tuán)隊(duì)曾經(jīng)嘗試過去GIL鎖但是發(fā)現(xiàn)去掉GIL鎖之后實(shí)現(xiàn)線程并行的這種方式讓運(yùn)行速度更加慢了下來，具體原因是因?yàn)镃Python中的大量模塊第三方庫在設(shè)計(jì)之初都是在有GIL鎖的情況下設(shè)計(jì)的，所以一旦改版后果不能被人預(yù)料。

但是也不用悲觀，Python的GIL鎖只是解釋器層面和語言本身并無關(guān)系，比如PYPY就是沒有GIL鎖的一種解釋器。

擴(kuò)展：進(jìn)程切換與程序計(jì)數(shù)器

不同的進(jìn)程之間能進(jìn)行切換那么不同的線程之間也必定能進(jìn)行切換，既然線程是最小的執(zhí)行單位那么同一進(jìn)程中的線程切換的代價(jià)必然是少于進(jìn)程間的切換的。

進(jìn)程切換

為了控制進(jìn)程的執(zhí)行，內(nèi)核必須有能力掛起正在CPU上運(yùn)行的進(jìn)程，并恢復(fù)以前掛起的某個進(jìn)程的執(zhí)行。這種行為被稱為進(jìn)程切換，這種切換是由操作系統(tǒng)來完成的。因此可以說，任何進(jìn)程都是在操作系統(tǒng)內(nèi)核的支持下運(yùn)行的，是與內(nèi)核緊密相關(guān)的。

從一個進(jìn)程的運(yùn)行轉(zhuǎn)到另一個進(jìn)程上運(yùn)行，這個過程中經(jīng)過下面這些變化：

1. 保存處理機(jī)上下文，包括程序計(jì)數(shù)器和其他寄存器。

2. 更新PCB信息。

3. 把進(jìn)程的PCB移入相應(yīng)的隊(duì)列，如就緒、在某事件阻塞等隊(duì)列。

4. 選擇另一個進(jìn)程執(zhí)行，并更新其PCB。

5. 更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)。

6.恢復(fù)處理機(jī)上下文。

注：總而言之就是很耗資源的

程序計(jì)數(shù)器

我們都知道軟件的數(shù)據(jù)是存儲在硬盤上的，這個調(diào)用的過程十分緩慢，但是在內(nèi)存中就會快很多。同時，一個線程或者進(jìn)程的切換掛起狀態(tài)如果是存放在內(nèi)存中那么是肯定不行的，這個速度對于切換毫秒級別的線程或者進(jìn)程來說速度依舊不夠快。所以在CPU旁邊有了一個程序計(jì)數(shù)器的存在，由于距離CPU比較近傳輸狀態(tài)的時間也會相應(yīng)縮短。它的大小并不是很大只有小小的 1 到 2kb ，主要功能就是存儲了這些進(jìn)程或者線程切換狀態(tài)的數(shù)據(jù)。存儲的其實(shí)都是--->內(nèi)存地址。

總結(jié)

以上是生活随笔為你收集整理的大并发下程序出错_Python并发编程理论篇的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。