Python多进程与进程锁的基本使用
                                                            生活随笔
收集整理的這篇文章主要介紹了
                                Python多进程与进程锁的基本使用
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.                        
                                Python的multiprocessing模塊提供了多種進程間通信的方式,如Queue、Pipe等。
Queue是multiprocessing提供的一個模塊,它的數據結構就是"FIFO——first in first out"的隊列,常用的方法有:put(object)入隊;get()出隊;empty()判斷隊列是否為空。Lock:當多個子進程對同一個queue執行寫操作時,為了避免并發操作產生沖突,可以通過加鎖的方式使得某個子進程對queue擁有唯一的寫權限,其他子進程必須等待該鎖釋放后才能再開始執行寫操作。
下面就是使用Queue進行進程間通信的代碼:在父進程里創建兩個子進程,分別實現對queue的讀和寫操作:
#!/usr/bin/python
# -*- coding: utf-8 -*
__author__ = 'zni.feng'
import  sys
reload (sys)
sys.setdefaultencoding('utf-8')
from multiprocessing import Process, Queue, Lock
import os, time, random
#寫數據進程
def write(q, lock, name):print 'Child Process %s starts' % name#獲得鎖lock.acquire()for value in ['A' , 'B', 'C']:print 'Put %s to queue...' % valueq.put(value)time.sleep(random.random())#釋放鎖lock.release()print 'Child Process %s ends' % name#讀數據進程
def read(q, lock, name):print 'Child Process %s starts' % namewhile True: #持續地讀取q中的數據value =q.get()print 'Get %s from queue.' % valueprint 'Child Process %s ends' % nameif __name__ == "__main__":#父進程創建queue,并共享給各個子進程q= Queue()#創建鎖lock = Lock()#創建第一個“寫”子進程pw = Process(target = write , args=(q, lock, 'WRITE', ))#創建“讀”進程pr = Process(target = read, args=(q,lock, 'READ',))#啟動子進程pw,寫入:pw.start()#啟動子進程pr,讀取:pr.start()#等待pw結束:pw.join()#pr是個死循環,通過terminate殺死:pr.terminate()print 'Test finish.'
運行結果:
Child Process WRITE starts
Put A to queue...
Child Process READ starts
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.
Child Process WRITE ends
Test finish.
[Finished in 2.0s]Pipe是另一種進程間通信的方式,俗稱“管道”。它由兩端組成,一端往管道里寫入數據,另一端從管道里讀取數據。
下面就是使用Pipe通信的代碼:
#!/usr/bin/python
# -*- coding: utf-8 -*
__author__ = 'zni.feng'
import  sys
reload (sys)
sys.setdefaultencoding('utf-8')
from multiprocessing import Process, Pipe
import os, time, random#發送數據進程
def send(child_pipe, name):print 'Child Process %s starts' % namechild_pipe.send('This is Mr.Ni')child_pipe.close()time.sleep(random.random())print 'Child Process %s ends' % name#接收數據進程
def recv(parent_pipe, name):print 'Child Process %s starts' % nameprint parent_pipe.recv()time.sleep(random.random())print 'Child Process %s ends' % nameif __name__ == "__main__":#創建管道parent,child = Pipe()#創建send進程ps = Process(target=send, args=(child, 'SEND'))#創建recv進程pr = Process(target=recv, args=(parent, 'RECEIVE'))#啟動send進程ps.start()#等待send進程結束ps.join()#啟動recv進程pr.start()#等待recv進程結束pr.join()print 'Test finish.'
運行結果:
Child Process SEND starts
Child Process SEND ends
Child Process RECEIVE starts
This is Mr.Ni
Child Process RECEIVE ends
Test finish.
[Finished in 1.8s]
總結
以上是生活随笔為你收集整理的Python多进程与进程锁的基本使用的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: Python multiprocess
- 下一篇: Python中正则匹配与中文的问题
