python不同文件函数调用_不同输入文件的多处理调用函数
當進行多處理時,每個子進程都會獲得主模塊中在if __name__ == '__main__':語句之前定義的所有全局變量的副本。{{cdm>中訪問的每個進程都將是不同的。在
一種解決方法是使用共享列表,而共享列表又需要一個SyncManager來同步進程之間對共享資源的訪問(這是通過調用multiprocessing.Manager()創建的)。然后使用它創建一個列表,在下面的代碼中存儲結果(我將其命名為matches,而不是match)。在
我還必須使用functools.partial()創建一個可以從修改后的link_match函數中調用的單個參數,該函數現在接受兩個參數,而不是一個(這是pool.map()期望的那種)。在from functools import partial
import glob
import multiprocessing
def link_match(matches, file): # note: added results list argument
links = json.load(file)
for link in links:
try:
for other_link in other_links:
if link['data'] == other_link['data']:
matches.append(link)
else:
pass
else:
print "not found"
if __name__ == '__main__':
manager = multiprocessing.Manager() # create SyncManager
matches = manager.list() # create a shared list here
link_matches = partial(link_match, matches) # create one arg callable to
# pass to pool.map()
pool = multiprocessing.Pool(processes=6)
list_files = glob.glob("/path/*.json") # only used here
pool.map(link_matches, list_files) # apply partial to files list
pool.close()
pool.join()
print(matches)
總結
以上是生活随笔為你收集整理的python不同文件函数调用_不同输入文件的多处理调用函数的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用python排教室_开学季,教你用Py
- 下一篇: 实战tkinter图形界面开发_如何进行