最近項(xiàng)目用到了Python作為網(wǎng)站的前端，使用的框架是基于線程池的Cherrypy，但是前端依然有一些比較‘重’的模塊。由于python的多線程無(wú)法很好的利用多核的性質(zhì)，所以覺(jué)得把這些比較‘重’的功能用多進(jìn)程進(jìn)行管理。

Python 多進(jìn)程編程

Python的多進(jìn)程編程主要依賴multiprocessing庫(kù)，父進(jìn)程的參數(shù)直接拷貝給子進(jìn)程，因?yàn)長(zhǎng)inux進(jìn)程的copy on write特性，如果子進(jìn)程不對(duì)參數(shù)進(jìn)行修改就不會(huì)進(jìn)行拷貝工作，也就是說(shuō)父進(jìn)程，子進(jìn)程共享參數(shù)。而參數(shù)的返回則通過(guò)管道pipe進(jìn)行。

下面是簡(jiǎn)單的代碼例子：

import multiprocessingdef heavy_load_func(N, child_conn):'''function do heavy computing'''try:#do_some_heavy_computingchild_conn.send(return_value) #return somethingexcept Exception,e:child_conn.send(e) #將異常通過(guò)管道送出if __name__=='__main__''''main function'''try:parent_conn, child_conn = multiprocessing.Pipe()hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))child_process.start()child_process.join()child_return = parent_conn.recv()print child_returnexcept Exception,e:logger.error(e)

多進(jìn)程異常處理

但是如果heavy_load_func在執(zhí)行過(guò)程中拋出異常就比較麻煩了，當(dāng)然我們可以通過(guò)Pipe將捕捉到的異常信息傳到父進(jìn)程，但是這樣父進(jìn)程只是得到了一條返回值，并沒(méi)有觸發(fā)父進(jìn)程的異常機(jī)制，如何把子進(jìn)程的異常拋出給父進(jìn)程進(jìn)行處理呢？

本文提供一種方法，通過(guò)引入一個(gè)代理類Process對(duì)multiprocessing.Process進(jìn)行重載，Process中重寫multiprocessing.Process的run方法，并且加入exception屬性，通過(guò)exception來(lái)判斷子進(jìn)程是否觸發(fā)異常。

class Process(multiprocessing.Process):def __init__(self, *args, **kwargs):multiprocessing.Process.__init__(self, *args, **kwargs)self._pconn, self._cconn = multiprocessing.Pipe()self._exception = Nonedef run(self):try:multiprocessing.Process.run(self)self._cconn.send(None)except Exception as e:tb = traceback.format_exc()self._cconn.send((e, tb))@propertydef exception(self):if self._pconn.poll():self._exception = self._pconn.recv()return self._exception

這樣我們的代碼就可以寫成這樣：

''' 學(xué)習(xí)中遇到問(wèn)題沒(méi)人解答？小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群：725638078 尋找有志同道合的小伙伴，互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書！ ''' if __name__=='__main__':'''main function'''try:parent_conn, child_conn = multiprocessing.Pipe()#child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))child_process = Process(target=heavy_load_func, args=(10, child_conn))child_process.start()child_process.join()if child_process.exception:error, traceback = child_process.exceptionprint errorchild_process.terminate()else:child_return = parent_conn.recv() #如果不子進(jìn)程不拋出異常就接受值，否則主進(jìn)程退出，避免主進(jìn)程被管道阻塞！print child_returnexcept Exception, e:print e

總結(jié)

本文主要介紹了一種Python多進(jìn)程異常處理的方法，通過(guò)引入代理類來(lái)進(jìn)行異常的轉(zhuǎn)發(fā)。文章介紹的比較簡(jiǎn)單，其實(shí)里面有很多東西。

總結(jié)

以上是生活随笔為你收集整理的Python 多进程异常处理的方法，你会吗的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。