进程间通信(python)

Process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了QueuePipes等多种方式来交换数据。

一、我们以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据:

from multiprocessing import Process,Queue
import os,time,random
# 写数据进程执行的代码:
def write(q):print("Process to write: %s"% os.getgid())for value in ['A','B','C']:print('Put %s to queue...' % value)q.put(value)time.sleep(random.random())#读数据进程执行的代码
def read(q):print("Process to read: %s "% os.getgid())while True:value = q.get(True)print('Get %s from queue.' % value)if __name__ == '__main__':# 父进程创建Queue,并传给各个子进程q = Queue()pw = Process(target=write, args=(q,))pr = Process(target=read, args=(q,))#启动子进程pw,写入:pw.start()#启动子进程pr,读取:pr.start()#等待pw结束pw.join()#pr进程这里是死循环,无法等待其结束,只能强行终止pr.terminate()

输出:

Process to write: 15582
Put A to queue...
Process to read: 15583 
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.

在Unix/Linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的细节。由于Windows没有fork调用,因此,multiprocessing需要“模拟”出fork的效果,父进程所有Python对象都必须通过pickle序列化再传到子进程去,所有,如果multiprocessing在Windows下调用失败了,要先考虑是不是pickle失败了。

二、管道Pipes

现有2个进程A和B,他们都在内存中开辟了空间,那么我们在内存中再开辟一个空间C,作用是连接这两个进程的。对于进程来说内存空间是可以共享的(任何一个进程都可以使用内存,内存当中的空间是用地址来标记的,我们通过查找某一个地址就能找到这个内存)A进程可以不断的向C空间输送东西,B进程可以不断的从C空间读取东西,这就是进程间的通信   

      这个通信方式的原理类似于用文件通信,一个进程往文件里写,另外一个进程从文件里读取,最大的不同在于管道里C的空间是开辟在内存当中,第一是他不容易被截获,第二是进程结束后内存空间他会自动的释放掉,文件就不能自动释放掉。第三就是内存的传输是不需要和磁盘交互,所以相比文件管道的传输效率要高很多,这就是管道的基本原理。

      管道在信息传输上是以流的方式传输, 也就是你从A进程不断的写入,B进程源源不断的读出,A进程先写入的就会被B进程先读出,后写进来的就会被后读出,管道不仅仅可以让A进程写C内存空间收,也可以B进程写,C内存空间收,也就是双向通信,单项通信叫做半双工,双向叫做全双工。

2.管道本质
     在内存中开辟一个新的空间,对多个进程可见,在通信形式上形成一种约束

3.创建管道
     multiprocessing------------->Pipe

     1.首先理解Pipe是什么,有人理解为类,那到底是什么?

        >>> from multiprocessing import Pipe
        >>> type(Pipe)

                <class 'method'>

       可以看到是个方法,也就是函数,是通过函数的返回值来完成工作的,不是类
 

----------------------

待完善

 

参考:

(1)、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000

(2)、https://blog.csdn.net/weixin_39859512/article/details/80898340

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/273890.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

80x86 CPU 的工作模式

8086/8088微处理器只有一种工作模式&#xff1a;实地址模式。 32为的80x86微处理器有3种工作模式&#xff1a;实地址模式、保护模式和虚拟8086模式。 实地址模式 对于8086/8088微处理器&#xff0c;实模式是它的唯一工作方式&#xff0c;对于80386以上的处理器来说&#xff0c;…

Python定时任务调度——APScheduler

参考&#xff1a; &#xff08;1&#xff09;https://www.cnblogs.com/luxiaojun/p/6567132.html &#xff08;2&#xff09;https://blog.csdn.net/u010376788/article/details/75726182

Ajax 模糊查询的简单实现

类似于百度的搜索引擎模糊查询功能&#xff0c;不过百度的模糊查询功能更强大&#xff0c;这里简单实现下. 要实现模糊查询&#xff0c;首先要做的就是把SQL写好。话不多少&#xff0c;直接贴代码了! JSP页面&#xff1a; <% page language"java" import"jav…

OpenStack组件

OpenStack的架构及组件&#xff08;Havana&#xff09; 服务项目名描述控制台Horizon用户通过该服务与OpenStack的各服务进行交互&#xff0c;如启动虚机实例、分配IP地址、设置访问控制等&#xff1b;计算Nova按需分派并管理虚机&#xff1b;网络Neutron通常是计算服务通过该服…

python 计算数字 k 在 0 到 n 中的出现的次数,k 可能是 0~9 的一个值

3. 统计数字 中文English 计算数字 k 在 0 到 n 中的出现的次数&#xff0c;k 可能是 0~9 的一个值。 Example 样例 1&#xff1a; 输入&#xff1a; k 1, n 1 输出&#xff1a; 1 解释&#xff1a; 在 [0, 1] 中&#xff0c;我们发现 1 出现了 1 次 (1)。样例 2&#x…

[转]Design Pattern Interview Questions - Part 2

Interpeter , Iterator , Mediator , Memento and Observer design patterns.(I) what is Interpreter pattern?(B) Can you explain iterator pattern?(A) Can you explain mediator pattern?(I) Can you explain memento pattern?(B) Can you explain observer pattern?…

python爬虫面试题

1 :列表生成式和生成器的区别 &#xff1f; 列表生成式直接生成一个列表&#xff0c;所有元素对象被立即创建在内存中&#xff0c;当元素过多时&#xff0c;势必会占用过多内存&#xff0c; 不可取&#xff0c;要用到生成器&#xff0c;它即时创建一个生成器对象&#xff0c;…

%hd %d %ld %u ......

%d 有符号10进制整数 %ld 长整型 %hd短整型%md,m指定的是输出字段的宽度&#xff0c;默认左补空格, 如果数据的位数小于m&#xff0c;则左端补以空格&#xff0c;若大于m&#xff0c;则  按实际位数输出&#xff0c;如&#xff1a;  printf("%4d,%4d",a,b)  若…

我的扑克牌

main.m文件&#xff1a; #import <Foundation/Foundation.h> #import "hearts.h" #import "spade.h" #import "wintersweet.h" #import "diamonds.h" #import "stdio.h" #import "string.h" int main(int a…

在使用selenium,Chrome无界面浏览模式与自定义插件加载问题

Chrome启用无界面浏览模式时&#xff0c;自定义插件是没法加载的&#xff0c;会报以下错误&#xff1a; selenium.common.exceptions.WebDriverException: Message: unknown error: failed to wait for extension background page to load: chrome-extension://cdkhikphdegmcl…

一遍学习,一遍进步

做挨踢这块也快两年了&#xff0c;还是个小白。懂得技术有限&#xff0c;会的东西不多。知道的东西越多越觉得该知道更多东西。新的知识技术更新越来越快。有点应接不暇。 2013很糊涂的过来了。没有看几本书&#xff0c;没有自我提高&#xff0c;有点浑浑噩噩的感觉。单位的工作…

ubuntu18 安装redis-manager

参考&#xff1a;https://blog.csdn.net/momomomomm/article/details/83626147

Ios17个常用代码整理

1.判断邮箱格式是否正确的代码 //利用正则表达式验证 -(BOOL)isValidateEmail:(NSString *)email { NSString *emailRegex "[A-Z0-9a-z._%-][A-Za-z0-9.-]\\.[A-Za-z]{2,4}"; NSPredicate *emailTest [NSPredicate predicateWithFormat:"SELF MATCHES%",…

ubuntu18 激活 pycharm

1、到官网上下载好对应的版本 2、到安装好的pycharm的bin文件夹下&#xff0c;找到 pycharm.vmoptions 和 pycharm64.vmoptions&#xff0c;在两个文件后面添加代码&#xff1a; -javaagent:-javaagent:/home/maxzhang/user/pycharm/bin/JetbrainsCrack-release-enc.jar&#…

jquery背景自动切换特效

查看效果网址&#xff1a;http://keleyi.com/a/bjad/4kwkql05.htm 本特效的jquery版本只支持1.9.0以下。代码如下&#xff1a; 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">2…

pandas和spark的区别

参考&#xff1a;https://blog.csdn.net/u013613428/article/details/78138857

Android ImageView图片自适应

网络上下载下来的图片自适应&#xff1a;android:adjustViewBounds"true"&#xff08;其详细解释在下面&#xff09;<ImageViewandroid:id"id/dynamic_item_image"android:layout_width"wrap_content"android:layout_height"wrap_conten…

Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化

BytesIO StringIO操作的只能是str&#xff0c;如果要操作二进制数据&#xff0c;就需要使用BytesIO。BytesIO实现了在内存中读写bytes&#xff0c;我们创建一个BytesIO&#xff0c;然后写入一些bytes&#xff1a; 写入的不是str&#xff0c;而是经过UTF-8编码的bytes。 (1).参考…

都江堰很美-佩服古人_Crmhf的一天

地震遗迹&#xff1a;一条背街&#xff0c;损坏严重&#xff0c;基本没什么人。真正的水利工程&#xff0c;值得每个人学习&#xff1a;转载于:https://www.cnblogs.com/crmhf/p/3823157.html

爬虫的增量式抓取和数据更新

不管是产生新页面&#xff0c;还是原本的页面更新&#xff0c;这种变化都被称为增量&#xff0c; 而爬取过程则被称为增量爬取。那如何进行增量式的爬取工作呢&#xff1f;回想一下爬虫的工作流程&#xff1a; 发送URL请求 ----- 获得响应 ----- 解析内容 ----- 存储内容 我们…