使用Python脚本写了个测试程序,测试程序中会执行SHELL脚本,并且设置了超时时间,大概是这样的:
subprocess.run("do something", shell=True, stdout=subprocess.PIPE, timeout=30.0)
但是却发现运行的时候,测试程序一直无法执行完成,通过ps -ef
和pystack
发现进程一直在等待"do something"进程,这个进程的状态是,就是僵尸进程,不过这个进程还创建了子进程。很明显,这个超时并没有生效。
于是Google了一下,确实有类似的情况。网上的说法是shell=True
和stdout=subprocess.PIPE
时会有问题,原因是python的subprocess库在捕获到TimeoutExpire
异常时,会执行 p.kill
,然后执行p.communicate
,也就是他还会等待那个脚本的子进程结束。
这个说法经过测试不完全正确,我把shell=True
去掉也有这个问题。于是按照自己的改法,变成了这样子:
with subprocess.Popen(command.split(), stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True) as proc:try:stdout, stderr = proc.communicate(timeout=timeout)returncode = proc.poll()except subprocess.TimeoutExpired:# os.killpg(os.getpgid(proc.pid), signal.SIGKILL) # 使用killpg会把自己杀死os.kill(proc.pid, signal.SIGKILL)
注意:网上还有人提到使用 os.killpg
杀死所有子进程,不过这会把自己也杀死。但是不适用os.killpg
不能把所有子进程杀死,所以正确的做法是找到所有的子进程,然后杀死他们。
我后面阅读过psutil的手册,发现psutil可以很方便的把子进程都列出来,所以这个代码改成psutil会更好。不过我没测试也就先不写出来了。
参考资料
Subprocess timeout failure
Using module ‘subprocess’ with timeout
Python subprocess timeout?