1、介绍
subprocess模块可以生成新的进程,连接到它们的input/output/error管道,同时获取它们的返回码。
2、基本操作方法
2.1、subprocess的run、call、check_call、check_output函数
subprocess.run(args[, stdout, stderr, shell ...])
- 执行args命令,返回值为CompletedProcess类;
- 若未指定stdout,则命令执行后的结果输出到屏幕上,函数返回值CompletedProcess中包含有args和returncode;
- 若指定有stdout,则命令执行后的结果输出到stdout中,函数返回值CompletedProcess中包含有args、returncode和stdout;
- 若执行成功,则returncode为0;若执行失败,则returncode为1;
- 若想获取args命令执行后的输出结果,命令为:output = subprocess.run(args, stdout=subprocess.PIPE).stdout
subprocess.call(args[, stdout, ...])
- 执行args命令,返回值为命令执行状态码;
- 若未指定stdout,则命令执行后的结果输出到屏幕;
- 若指定stdout,则命令执行后的结果输出到stdout;
- 若执行成功,则函数返回值为0;若执行失败,则函数返回值为1;
- (类似os.system)
subprocess.check_call(args[, stdout, ...])
- 执行args命令,返回值为命令执行状态码;
- 若未指定stdout,则命令执行后的结果输出到屏幕;
- 若指定stdout,则命令执行后的结果输出到stdout;
- 若执行成功,则函数返回值为0;若执行失败,抛出异常;
- (类似subprocess.run(args, check=True))
subprocess.check_output(args[, stderr, ...])
- 执行args命令,返回值为命令执行的输出结果;
- 若执行成功,则函数返回值为命令输出结果;若执行失败,则抛出异常;
- (类似subprocess.run(args, check=True, stdout=subprocess.PIPE).stdout)
其他
- args:启动进程的参数,默认为字符串序列(列表或元组),也可为字符串(设为字符串时一般需将shell参数赋值为True);
- shell:shell为True,表示args命令通过shell执行,则可访问shell的特性;
- check:check为True时,表示执行命令的进程以非0状态码退出时会抛出;subprocess.CalledProcessError异常;check为False时,状态码为非0退出时不会抛出异常;
- stdout、stdin、stderr:分别表示程序标准标输出、输入、错误信息;
- run函数返回值为CompletedProcess类,若需获取执行结果,可通过获取返回值的stdout和stderr来捕获;
- check_output函数若需捕获错误信息,可通过stderr=subprocess.STDOUT来获取;
示例
# ################### subprocess.run 使用
def subprocess_run():result1 = subprocess.run(["adb", "devices"])print("result1:", result1)print("----------")result2 = subprocess.run("adb devices", shell=True, check=True)print("result2:", result2)print("----------")result3 = subprocess.run(["adb", "devices"], stdout=subprocess.PIPE)print("result3:", result3)print(type(result3))
subprocess_run()""" 输出如下
List of devices attached
338b123f0504 deviceresult1: CompletedProcess(args=['adb', 'devices'], returncode=0)
----------
List of devices attached
338b123f0504 deviceresult2: CompletedProcess(args='adb devices', returncode=0)
----------
result3: CompletedProcess(args=['adb', 'devices'], returncode=0, stdout=b'List of devices attached \r\n338b123f0504\tdevice\r\n\r\n')
<class 'subprocess.CompletedProcess'>
"""# ################### subprocess.call使用
def subprocess_call():result1 = subprocess.call(["adb", "devices"])print("result1:", result1)print("----------")result2 = subprocess.call(["adb", "devices"], stdout=subprocess.PIPE)print("result2:", result2)
subprocess_call()"""结果
List of devices attached
338b123f0504 deviceresult1: 0
----------
result2: 0
"""# ################### subprocess.check_call
def subprocess_check_call():result1 = subprocess.check_call(["adb", "devices"])print("result1:", result1)print("----------")result2 = subprocess.check_call(["adb", "devices"], stdout=subprocess.PIPE)print("result2:", result2)
subprocess_check_call()"""结果
List of devices attached
338b123f0504 deviceresult1: 0
----------
result2: 0
"""# ################### subprocess.check_output
def subprocess_check_output():result1 = subprocess.check_output(["adb", "devices"])print("result1:", result1)print("----------")result2 = subprocess.run(["adb", "devices"], stdout=subprocess.PIPE).stdoutprint("result2:", result2)
subprocess_check_output()"""结果
result1: b'List of devices attached \r\n338b123f0504\tdevice\r\n\r\n'
----------
result2: b'List of devices attached \r\n338b123f0504\tdevice\r\n\r\n'
"""
2.2、subprocess的getoutput、getstatusoutput函数
subprocess.getoutput(cmd)
执行cmd命令,返回值为命令执行的输出结果(字符串类型);执行失败,不会抛出异常(类似os.popen(cmd).read());
cmd:参数,字符串类型;
subprocess.getstatusoutput(cmd)
执行cmd命令,返回值为元组类型(命令执行状态, 命令执行的输出结果);元组中命令执行状态为0,表示执行成功;命令执行状态为1,表示执行失败;
cmd:参数,字符串类型;
示例
# subprocess.getoutput或getstatusoutput使用
def subprocess_get_output():result1 = subprocess.getoutput("adb devices")print("result1:", result1)print(type(result1))print("**** subprocess.getstatusoutput ****")result2 = subprocess.getstatusoutput("adb devices")print("result2:", result2)print(type(result2))
subprocess_get_output()
"""结果
**** subprocess.getoutput ****
result1: List of devices attached
338b123f0504 device<class 'str'>
**** subprocess.getstatusoutput ****
result2: (0, 'List of devices attached \n338b123f0504\tdevice\n')
<class 'tuple'>
"""
3、 subprocess.Popen类
subprocess.Popen类用于在一个新进程中执行一个子程序,上述subprocess函数均是基于subprocess.Popen类;
subprocess.Popen(args[, bufsize, stdin, stdout, stderr, ...]) 语法
Popen类的构造函数,返回结果为subprocess.Popen对象;
- args:需要执行的系统命令,可为字符串序列(列表或元组,shell为默认值False即可,建议为序列),也可为字符串(使用字符串时,需将shell赋值为True);
- shell:默认False,若args为序列时,shell=False;若args为字符串时,shell=True,表示通过shell执行命令;
- stdout、stdin、stderr:分别表示子程序标准输出、标准输入、标准错误,可为subprocess.PIPE、一个有效的文件描述符、文件对象或None。
若为subprocess.PIPE:代表打开通向标准流的管道,创建一个新的管道;
若为None:表示没有任何重定向,子进程会继承父进程;
stderr也可为subprocess.STDOUT:表示将子程序的标准错误输出重定向到了标准输出 - bufsize:默认0;指定缓冲策略,0表示不缓冲,1表示行缓冲,其它整数表示缓冲区大小,负数表示使用系统
- cwd:默认None;若非None,则表示将会在执行这个子进程之前改变当前工作目录;
- env:用于指定子进程的环境变量。若env为None,那么子进程的环境变量将从父进程中继承;若env非None,则表示子程序的环境变量由env值来设置,它的值必须是一个映射对象。
- universal_newlines: 不同系统的换行符不同。若True,则该文件对象的stdin,stdout和stderr将会以文本流方式打开;否则以二进制流方式打开
- preexec_fn:只在Unix平台下有效,用于指定一个可执行对象(callable object),它将在子进程运行之前被调用。
- Close_sfs:在windows平台下,如果close_fds被设置为True,则新创建的子进程将不会继承父进程的输入、输出、错误管道。我们不能将close_fds设置为True同时重定向子进程的标准输入、输出与错误(stdin, stdout, stderr)。
- startupinfo与createionflags只在windows下有效,它们将被传递给底层的CreateProcess()函数,用于设置子进程的一些属性,如:主窗口的外观,进程的优先级等等。
subprocess.Popen对象常用方法
下列 PopenObject 为 subprocess.Popen 对象
- PopenObject.poll() :用于检查命令是否已经执行结束,若结束返回状态码;若未结束返回None;
- PopenObject.wait([timeout, endtime]):等待子进程结束,并返回状态码;若超过timeout(s)进程仍未结束,则抛出异常;
- PopenObject.send_signal(signal):发送信号signal给子进程;
- PopenObject.terminate():停止子进程;在windows平台下,该方法将调用Windows API TerminateProcess()来结束子进程。
- PopenObject.kill():杀死子进程;
- PopenObject.communicate([input, timeout]):与进程进行交互(如向stdin发送数据,或从stdout和stderr中读取数据),它会阻塞父进程,直到子进程完成;注意:如果希望通过进程的stdin向其发送数据,在创建Popen对象的时候,参数stdin必须被设置为PIPE。同样,如果希望从stdout和stderr获取数据,必须将stdout和stderr设置为PIPE。
- input:表示将发送到子进程的字符串数据,默认为None;
- timeout:超时判断,若超过timeout秒后仍未结束则抛出TimeoutExpired异常;
- communicate返回值:一个元组(stdout_data, stderr_data)
- 要注意的是,subprocess.PIPE实际上为文本流提供一个缓存区。直到communicate()方法从PIPE中读取出PIPE中的文本.此方法比wait()好用。https://www.jianshu.com/p/8e582146bd4c
- PopenObject.pid:获取子进程的进程ID。
- PopenObject.returncode:获取进程的返回值。如果进程还没有结束,返回None。
subprocess.Popen 对象的文本或字节流控制
-
PopenObject.stdin:
若PopenObject中stdin为PIPE,则返回一个可写流对象;若encoding或errors参数被指定或universal_newlines参数为True,则此流是一个文件流,否则为字节流。
若PopenObject中stdin不是PIPE,则属性为None。
stdin输入流非None,可执行写操作即PopenObject.stdin.write(s) -
PopenObject.stdout:
若PopenObject中stdout为PIPE,则返回一个可读流对象;若encoding或errors参数被指定或universal_newlines参数为True,则此流是一个文件流,否则为字节流。
若PopenObject中stdout不是PIPE,则属性为None。
stdout输出流非None,可执行读操作即PopenObject.stdout.read()或.readlines() -
PopenObject.stderr:
若PopenObject中stderr为PIPE,则返回一个可读流对象;若encoding或errors参数被指定或universal_newlines参数为True,则此流是一个文件流,否则为字节流。
若PopenObject中stderr不是PIPE,则属性为None。
stderr错误流非None,可执行读操作即PopenObject.stderr.read()或.readlines()
def subprocess_Popen1():print("***通过communicate函数分别输出PopenObject对象的输出流和错误流***")args = [["adb", "devices"], ["adb", "devices11"]]for arg in args:popen_object = subprocess.Popen(arg, stdout=subprocess.PIPE, stderr=subprocess.PIPE)object_stdout, object_stderr = popen_object.communicate()output = {"popen_object": popen_object,"object_stdout": object_stdout,"object_stderr": object_stderr}print(output)"""{'popen_object': <subprocess.Popen object at 0x0000000002212400>, 'object_stdout': b'List of devices attached \r\n106D111805005938\tdevice\r\n\r\n', 'object_stderr': b''}{'popen_object': <subprocess.Popen object at 0x0000000002577C18>, 'object_stdout': b'', 'object_stderr': b'Android Debug Bridge version 1.0.31\r\n\r\n -a .....}"""print("***通过stdout和stderr方法输出PopenObject对象输出流和错误流***")p0 = subprocess.Popen(["adb", "devices"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)object_stdout = p0.stdout.read()p0.stdout.close()object_stderr = p0.stderr.read()p0.stderr.close()print(object_stdout) # 结果:b'List of devices attached \r\n338b123f0504\tdevice\r\n\r\n'print(object_stderr) # 结果:b''print("***Popen对象stdin写入功能:使用stdout和stderr输出")args = ["python", "python1"]for arg in args:p4 = subprocess.Popen([arg], shell=True, stdout=subprocess.PIPE,stdin=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True)p4.stdin.write("print('hello')")p4.stdin.close()out = p4.stdout.read()p4.stdout.close()err = p4.stderr.read()p4.stderr.close()print("out:%s err:%s" % (out, err))"""***Popen对象stdin写入功能out:helloerr:out: err:'python1' 不是内部或外部命令,也不是可运行的程序或批处理文件。"""print("***Popen对象stdin写入功能:使用communicate输出")p4 = subprocess.Popen(["python"], stdout=subprocess.PIPE,stdin=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True)p4.stdin.write("print('hello')")output = p4.communicate()print(output) # 结果:('hello\n', '')print("***不含encoding参数***")p1 = subprocess.Popen("adb devices", shell=True, stdout=subprocess.PIPE)out1 = p1.stdout.readlines()print(out1) # 结果: [b'List of devices attached \r\n', b'106D111805005938\tdevice\r\n', b'\r\n']print("***含encoding参数***")p2 = subprocess.Popen("adb devices", shell=True, stdout=subprocess.PIPE, encoding="utf-8")out2 = p2.stdout.readlines()print(out2) # 结果: ['List of devices attached \n', '106D111805005938\tdevice\n', '\n']print("***Popen对象检查命令是否结束,等待进程结束")print(p2.poll()) # 结果: Noneprint(p2.wait()) # 结果: 0print(p2.poll()) # 结果: 0print("***Popen对象communicate函数,它会阻塞父进程直至子进程完成")p3 = subprocess.Popen("adb devices", shell=True, stdout=subprocess.PIPE)out = p3.communicate()[0]print(out) # 结果:b'List of devices attached \r\n338b123f0504\tdevice\r\n\r\n'print(p3.poll()) # 结果:0
subprocess_Popen1()def subprocess_Popen2():"""1. 通过管道功能,实现adb shell ps | findstr top功能2. 直接为args赋值为一个字符串,实现adb shell ps | findstr top功能:return:"""print("***通过管道方式***")p1 = subprocess.Popen(["adb", "shell", "ps"], stdout=subprocess.PIPE)p2 = subprocess.Popen(["findstr", "top"], stdin=p1.stdout, stdout=subprocess.PIPE, stderr=subprocess.PIPE)out, err = p2.communicate()print(out, err) # 结果:b'shell 8508 8504 2600 1044 c004e5f8 b6f40938 S top\r\r\n' b''print("***通过传一个字符串方式***")p3 = subprocess.Popen("adb shell ps | findstr top", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)out, err = p3.communicate()print(out, err) # 结果:b'shell 8508 8504 2600 1044 c004e5f8 b6f40938 S top\r\r\n' b''
subprocess_Popen2()
报错解决
报错信息
Traceback (most recent call last):File "C:\Users\fenglepeng\.conda\envs\py37\lib\threading.py", line 926, in _bootstrap_innerself.run()File "C:\Users\fenglepeng\.conda\envs\py37\lib\threading.py", line 870, in runself._target(*self._args, **self._kwargs)File "C:\Users\fenglepeng\.conda\envs\py37\lib\subprocess.py", line 1267, in _readerthreadbuffer.append(fh.read())
UnicodeDecodeError: 'gbk' codec can't decode byte 0xac in position 421: illegal multibyte sequence
解决
# 参数中增加 encoding='utf-8'
sub = subprocess.Popen(command, shell=True, cwd=cwd, universal_newlines=True,stdout=subprocess.PIPE, stdin=subprocess.PIPE,stderr=subprocess.PIPE, encoding='utf-8')