【Python】 子进程创建与使用subprocess

subprocess

*****本文参考了Vamei大神的http://www.cnblogs.com/vamei/archive/2012/09/23/2698014.html  

 运用subprocess包可以在运行python的进程下进一步开启一个子进程,创建子进程要注意

    1. 父进程是否暂停

    2.创建出的子进程返回了什么

    3.执行出错,即返回的code不是0的时候应该如何处理

  subprocess包提供了三个开启子进程的方法,subprocess.call() , subprocess.check_call() , subprocess.check_output(),给三者传递命令字符串作为参数。可以用(['ping','www.baidu.com','-c','3'])这种列表的形式,同时也可以是("ping www.baidu.com -c 3") 这种形式。在开启子进程的时候,可以加上shell=True的参数来让python开启一个shell,通过shell来解释获得的命令。一般在windows下运行的程序最好都把shell=True加上,这样才能顺利地执行dos命令,但是linux下似乎不加也没啥关系。因为linux下未指明用shell执行的话会调用/bin/sh来执行,问题不大,但是dos下系统不会默认用cmd.exe来执行命令,所以要加上shell=True。

  subprocess.call ; subprocess.check_call ; subprocess.check_output  这三者的区别在于,返回的值分别是,子进程的执行返回码;若返回码是0则返回0,否则出错的话raise起CalledProcessError,可以用except处理之;若返回码是0则返回子进程向stdout输出的结果,否则也raise起CalledProcessError。另外,这三个方法都是让父进程挂起等待的,在子进程结束之前,父进程不会继续往下运行。

  另外从本质上讲,上述三个方法都是对subprocess.Popen方法的一个包装,Popen开启的子进程是不会让父进程等待其完成的,除非调用了wait()方法:

child = subprocess.Popen("...",shell=True)
print "Hello"
"""
很可能hello在子进程的输出之前就被打印出来了,因为父进程不等child子进程运行完
"""child = subprocess.Popen("...",shell=True)
child.wait()
print "Hello"
"""
这就不一样,父进程一定会等子进程运行完,给出完整的结果之后再继续往下执行。相当于wait函数挂起了父进程。
"""

   此外,上面代码里的child这个对象还有其他的一些方法:

    child.poll()  返回子进程运行状态,主要是两种结果,None代表尚未运行完,而一个返回码则代表已经运行完成并且是成功或失败了

    child.kill()  强行终止子进程

    child.send_signal(...)  向子进程发送一个信号(具体信号是以什么方式表示不清楚,还待研究

    child.terminate()  终止子进程

    child.pid  子进程的pid

    child.returncode  子进程的返回码

    child.stdin/stdout/stderr    子进程的标准输入流,标准输出和标准错误输出,都是类文件对象

 

■  文本流控制

  每个子进程对象都有stdin/stdout/stderr三个对象,而在Popen开启子进程的时候,可以设置这三个对象。比如

child1 = subprocess.Popen("cmd1",shell=True, stdout=subprocess.PIPE)
'''
child1的stdout被设置成管道,可以把它理解成一个第三方托管机构,
因为不设置的话child1的stdout的内容就直接被打印到父进程的stdout里了,
设置成管道之后内容被导入了PIPEという名の第三方托管机构里
'''
child2 = subprocess.Popen("cmd2",shell=True,stdin=child1.stdout,stdout=subprocess.PIPE)
'''
把child2的stdin设置成了child1的stdout,也就是之前那个第三方机构,这么一来就实现了两个子进程之间的数据通信了。
而把child2的stdout也设置成第三方,是因为不想让child2的输出就直接这么输出到父进程的stdout里,而要对它做一些处理
''' stdout,tmp = child2.communicate() ''' 因为child2的输出不用再转给个child3去处理,就用communicate方法把第三方机构那里的数据取出来放进一个变量里。
注意,这里的stdout已经是个str对象了,communicate出来的都是字符串了
communicate方法自带wait功能,会让父进程挂起等待所有子进程结束
communicate会返回一个元组,但是像在这个例子中没有设置stderr=PIPE,所以元组中的第二项原本属于stderr的值的地方的tmp的值是None,如果设置了其为PIPE,由于没有错误信息tmp是""。这点是有区别的。
''' print "We have result:\n%s"%(stdout) #代表了把stdout做一些处理后再输出

 

 ■  Popen方法

  Popen就是开启一个新的子进程,常用的几个参数正如上面所提的cmd,shell,stdin,stdout,stderr来指定开启的子进程的一些属性。

  除此之外还有以下的参数:

    close_fds  默认为False,设置为True的情况下会在子进程执行之前关闭所有除了0,1,2之外的所有文件都关闭(虽然不知道有什么意义)

    cwd  默认None,可以为子进程设置工作目录

  盗了张图(http://www.cnblogs.com/zhoug2020/p/5079407.html)

  

 

  实际上,我一般都是这么干的:

import subprocessp = subprocess.Popen("CMD",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
stdout,stderr = p.communicate()
if stderr != "":print "ERROR:"+stderr
elseprint "RESULT:"+stdout

 

*这篇文章(http://www.tuicool.com/articles/bUNJ7v)提供了一个解决大量并发开启子进程时出bug的方案,同时也给了一个如何为一个子进程设置超时的方法,值得看一下:

def timeout_command(command, timeout):start = datetime.datetime.now()process = subprocess.Popen(command, bufsize=10000, stdout=subprocess.PIPE, close_fds=True)'''这个循环就是为子进程设置了超时功能,感觉还挺巧妙的。。'''while process.poll() is None:time.sleep(0.1)now = datetime.datetime.now()if (now - start).seconds> timeout:try:process.terminate()except Exception,e:return Nonereturn Noneout = process.communicate()[0]if process.stdin:process.stdin.close()if process.stdout:process.stdout.close()if process.stderr:process.stderr.close()try:process.kill()except OSError:passreturn out

 ■  关于实时获取子进程输出的方法

  之前用过的所有subprocess.Popen方法吧,打开的子进程都比较短小,其命令基本上都可以在一秒内完成。所以在communicate的时候都没有显示出什么不妥的地方。但是碰到一些比较大,运行时间比较长的命令时,communicate就显得有些不太好了,因为到命令运行完成或者缓冲区满为止,子进程对象是不会向程序返回输出内容的。此时就需要变通一点不要使用communicate了。

  一个解决的办法是这样的:

import subprocess
import sysp = subprocess.Popen('cmd',shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)while p.poll() is None:    #当子进程没有完成之前char = p.stdout.read(1)sys.stdout.write(char)stdout,stderr = p.communicate()
sys.stdout.write(stdout)

 

  观察这段程序,可以看到,当子进程没有结束之前,循环将不断地从子进程的stdout中读取一个字符的数据然后写到父进程的stdout中。如果子进程较长时间没有明文进入stdout的话也可以在循环中加上一个time.sleep来控制循环频率。下面再加上communicate是为了保证信息输出的完整性。因为当子进程结束之后,有可能stdout还没有读取光,如果不加communicate的话那么还剩余在stdout中的信息就丢失了。如果子进程在stderr中有输出那么也可以放在communicate后面判断。另外也可以在建立p对象的时候把stderr参宿设置为subprocess.STDOUT来把子进程的stderr输出重定向到stdout中。

  *测试的时候,把一个每sleep1秒就向stdout写入一些信息的脚本当做子进程。但是发现以上方法并不奏效。想了下之后,记起来python在写文件的时候是会有缓冲区这个设定的。也就是说,子进程代码中的write被调用后stdout并不马上把信息输出到stdout中。解决办法就是用file对象(这里是sys.stdout)调用flush()方法来清空缓存并写入文件。

 

转载于:https://www.cnblogs.com/franknihao/p/6537159.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/393542.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

异步查询回调函数调用

异步查询数据,需要对返回的数据进行后续步骤操作,使用使用方法: 1、new promise方法使用。 2、回调函数使用 使用方式:   pageGetDeviceTreeInfo({deviceTypeAry:[1]},this.getTreeData); 函数: 1 export function p…

前端开发从项目中获得什么_我如何获得副项目的前10个客户以及从他们那里学到的东西...

前端开发从项目中获得什么by Tigran Hakobyan由Tigran Hakobyan 我如何获得副项目的前10个客户以及从他们那里学到的东西 (How I got my first 10 customers for my side-project and what I’ve learned from them) My name is Tigran, I’m 29, and I’m the creator of Cro…

leetcode278. 第一个错误的版本(二分查找)

你是产品经理,目前正在带领一个团队开发新的产品。不幸的是,你的产品的最新版本没有通过质量检测。由于每个版本都是基于之前的版本开发的,所以错误的版本之后的所有版本都是错的。 假设你有 n 个版本 [1, 2, …, n],你想找出导致…

lrzsz   linux与windows互传

2019独角兽企业重金招聘Python工程师标准>>> lrzsz linux与windows互传 # 前提是使用 xshell 或者 securecrt 这两个远程软件,putty不支持 yum install -y lrzsz //安装文件包 linux向windows 传文件使用 : sz 文件名 回…

mysql show 命令_mysql show 相关命令

processlist的show方式是不能使用过滤查找,可能源自MySQL的内部安全机制吧,show是用来查看MySQL内部运行数据,其实processlist就是information_schema数据库中的一张表,那么通过查表的方式肯定是可以的了:SELECT user,…

ordereddict有序字典

import collections as con# 有序添加和取字典元素 ord con.OrderedDict() ord[a] 1 ord[b] 2 ord[c] 3 print(ord, ordereddict)# 移动某元素到最后 ord.move_to_end(a) print(ord, move_to_end)转载于:https://www.cnblogs.com/xh4528/p/6538700.html

Spring: (一) -- 春雨润物之 核心IOC

作为一个Java人,想必都或多或少的了解过Spring。对于其优势也能道个一二,诸如方便解耦、支持AOP编程、支持声明式事务、方便测试等等。Spring也不仅仅局限于服务器端开发,它可以做非常多的事情,任何Java应用都可以在简单性、可测试…

reactjs快速如梦_帮助您理解和创建ReactJS应用的快速指南

reactjs快速如梦此帖子分为2部分 (This Post is divided into 2 parts) The First Part demonstrates how to create a simple React app using ‘create-react-app’ CLI and explains the project structure. 第一部分演示了如何使用“ create-react-app” CLI创建简单的Reac…

leetcode1351. 统计有序矩阵中的负数(二分查找)

给你一个 m * n 的矩阵 grid,矩阵中的元素无论是按行还是按列,都以非递增顺序排列。 请你统计并返回 grid 中 负数 的数目。 示例 1: 输入:grid [[4,3,2,-1],[3,2,1,-1],[1,1,-1,-2],[-1,-1,-2,-3]] 输出:8 解释&a…

XUbuntu22.04之跨平台音频编辑工具(平替Audition):ocenaudio(二百零二)

加粗样式 简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏&#…

QueryList4采集-图片本地化

QueryList4采集图片本地化 //采集public function cai() {//采集的url地址$data QueryList::get(https://news.ke.com/sh/baike/0033/)->rules([title > [.LOGCLICK , text],content > [.summary , text],image > [.lj-lazy , data-original , ,function($res){//…

mysql 从服务器同步设置_mysql主从同步配置

1.为什么要主从同步?在Web应用系统中,数据库性能是导致系统性能瓶颈最主要的原因之一。尤其是在大规模系统中,数据库集群已经成为必备的配置之一。集群的好处主要有:查询负载、数据库复制备份等。其中Master负责写操作的负载&…

int、long、long long取值范围

short int 1个字节储存 unsigned short int 0~255short int -128~127 int 2个字节储存 unsigned int 0~4294967295 int 2147483648~2147483647 long 4个字节储存 unsigned long 0~4294967295long 21…

每天一个LINUX命令(pwd)

每天一个LINUX命令(pwd) 基本信息 pwd: /bin/pwd,显示当前路径的绝对路径 语法:pwd 应用程序位置 which pwd PWD作用 pwd --help或者man pwd PWD的使用 pwd 转载于:https://www.cnblogs.com/shanshanliu/p/6542403.html

leetcode69. x 的平方根(二分法)

实现 int sqrt(int x) 函数。 计算并返回 x 的平方根,其中 x 是非负整数。 由于返回类型是整数,结果只保留整数的部分,小数部分将被舍去。 示例 1: 输入: 4 输出: 2 代码 class Solution {public int mySqrt(int x) {int l0,rx;while (…

一个swiper 两个分页器的写法【总结】

写项目的时候&#xff0c;使用的是swiper插件呈现的效果是一个swiper要实现两个分页器&#xff0c;下面就来总结一下 以swiper3为例来写&#xff0c;在页面中引入jquery、swiper.min.js和swiper.min.css文件。 HTML结构&#xff1a; <div class"banner swiper-containe…

react路由守卫+重定向_React + Apollo:如何在重新查询后进行重定向

react路由守卫重定向by Jun Hyuk Kim金俊赫 React Apollo&#xff1a;如何在重新查询后进行重定向 (React Apollo: How to Redirect after Refetching a Query) GraphQL is hot, and for a good reason. In short, it is a query language that allows you to ask for exact…

python 爬虫可视化编程_Python爬虫爬取博客实现可视化过程解析

源码&#xff1a;from pyecharts import Barimport reimport requestsnum0b[]for i in range(1,11):linkhttps://www.cnblogs.com/echoDetected/default.html?pagestr(i)headers{user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko…

tp6常用命令

TP6常用命令 1.创建控制器 php think make:controller --plain index** (php think make:controller --plain 控制器名称&#xff08;首字母大写&#xff09;)2.创建模型 php think make:model 【模块名】/模型名 模型名为表名相当3.创建中间件 php think make:middleware 中…

Problem B: 字符类的封装

Description 先来个简单习题&#xff0c;练练手吧&#xff01;现在需要你来编写一个Character类&#xff0c;将char这一基本数据类型进行封装。该类中需要有如下成员函数&#xff1a; 1. 无参构造函数。 2. 构造函数Character(char)&#xff1a;用参数初始化数据成员。 3. void…