python执行时间长被kill_用python记录运行pid,并在需要时kill掉它们的实例
我在跑爬蟲程序的時(shí)候,由于爬蟲程序的等待目標(biāo)服務(wù)器返回?cái)?shù)據(jù)的時(shí)間很長,而cpu占用很低,所以經(jīng)常掛著代理一跑就跑好幾百個(gè)。但是爬蟲程序通常是寫了死循環(huán),或直到分配給該進(jìn)程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù),是沒辦法手工一個(gè)一個(gè)kill掉的。那么該如何結(jié)束這些進(jìn)程呢?
我的方法就是在運(yùn)行爬蟲進(jìn)程時(shí),記錄該進(jìn)程的Pid,然后在需要手動(dòng)結(jié)束時(shí),再用語句kill掉它們。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述語句完成了將腳本在后臺(tái)運(yùn)行100便,并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環(huán)的語句。
接下來就是kill掉它們的語句了,我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
這樣就把記錄下來的pid全部kill掉了。
但需要注意的一點(diǎn)時(shí),如果在任務(wù)運(yùn)行期間,有的進(jìn)程由于完成任務(wù)或者出錯(cuò)而退出。其他的程序可能會(huì)share這些進(jìn)程的Pid,這樣如果在運(yùn)行kill腳本的時(shí)候,可能附帶就把這些進(jìn)程也給Kill掉了,造成不必要的麻煩。
以上這篇用python記錄運(yùn)行pid,并在需要時(shí)kill掉它們的實(shí)例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持萬仟網(wǎng)。
希望與廣大網(wǎng)友互動(dòng)??
點(diǎn)此進(jìn)行留言吧!
總結(jié)
以上是生活随笔為你收集整理的python执行时间长被kill_用python记录运行pid,并在需要时kill掉它们的实例的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: JAVA5000行代码什么概念_GitH
- 下一篇: 什么从什么写短句_新年新气象跨年了,准备