python进程通信方式有几种_python全栈开发基础【第二十一篇】互斥锁以及进程之间的三种通信方式(IPC)以及生产者个消费者模型...

一、互斥锁

进程之间数据隔离,但是共享一套文件系统,因而可以通过文件来实现进程直接的通信,但问题是必须自己加锁处理。

注意:加锁的目的是为了保证多个进程修改同一块数据时,同一时间只能有一个修改,即串行的修改,没错,速度是慢了,牺牲了速度而保证了数据安全。

1.上厕所的小例子:你上厕所的时候肯定得锁门吧,有人来了看见门锁着,就会在外面等着,等你吧门开开出来的时候,下一个人才去上厕所。

from multiprocessing import Process,Lock

import os

import time

def work(mutex):

mutex.acquire()

print(‘task[%s] 上厕所‘%os.getpid())

time.sleep(3)

print(‘task[%s] 上完厕所‘%os.getpid())

mutex.release()

if __name__ == ‘__main__‘:

mutex = Lock()

p1 = Process(target=work,args=(mutex,))

p2 = Process(target=work,args=(mutex,))

p3 = Process(target=work,args=(mutex,))

p1.start()

p2.start()

p3.start()

p1.join()

p2.join()

p3.join()

print(‘主‘)

2.模拟抢票(也是利用了互斥锁的原理  :LOCK互斥锁)

import json

import time

import random

import os

from multiprocessing import Process,Lock

def chakan():

dic = json.load(open(‘piao‘,)) # 先查看票数,也就是打开那个文件

print(‘剩余票数:%s‘ % dic[‘count‘]) # 查看剩余的票数

def buy():

dic = json.load(open(‘piao‘,))

if dic[‘count‘]>0: #如果还有票

dic[‘count‘]-=1 #就修改里面的值-1

time.sleep(random.randint(1,3)) #执行里面买票的一系列操作就先不执行了,让睡一会代替(并且随机的睡)

json.dump(dic,open(‘piao‘,‘w‘))

print(‘%s 购票成功‘ % os.getpid()) # 当前的那个id购票成功

def task(mutex): #抢票

chakan() #因为查看的时候大家都可以看到,不需要加锁

mutex.acquire() #加锁

buy() #买的时候必须一个一个的买,先等一个人买完了,后面的人在买

mutex.release() #取消锁

if __name__ == ‘__main__‘:

mutex = Lock()

for i in range(50):#让50个人去访问那个票数

p = Process(target=task,args=(mutex,))

p.start()

二、Process对象的其他属性

p.daemon :守护进程(必须在开启之前设置守护进程):如果父进程死,子进程p也死了

p.join:父进程等p执行完了才运行主进程,是父进程阻塞在原地,而p仍然在后台运行。

terminate:强制关闭。(确保p里面没有其他子进程的时候关闭,如果里面有子进程,你去用这个方法强制关闭了就会产生僵尸进程(打个比方:如果你老子挂了,你还没挂,那么就没人给你收尸了,啊哈哈))

is_alive:关闭进程的时候,不会立即关闭,所以is_alive立刻查看的结果可能还是存活

p.join():父进程在等p的结束,是父进程阻塞在原地,而p仍然在后台运行

p.name:查看名字

p.pid :查看id

我们可以简单介绍一下僵尸进程:

子进程运行完成,但是父进程迟迟没有进行回收,此时子进程实际上并没有退出,其仍然占用着系统资源,这样的?进程称为僵尸进程。

因为僵尸进程的资源一直未被回收,造成了系统资源的浪费,过多的僵尸进程将造成系统性能下降,所以应避免出现僵尸进程。

from multiprocessing import Process

import os

import time

def work():

print(‘%s is working‘%os.getpid())

time.sleep(3)

if __name__ == ‘__main__‘:

p1 =Process(target=work)

p2 =Process(target=work)

p3 =Process(target=work)

# p1.daemon = True

# p2.daemon = True #守护进程(守护他爹)

# p3.daemon = True #主进程死了子进程也死了(就不会执行子进程了)

p1.start()

p2.start()

p3.start()

p3.join()

p2.join()

p1.join() #多个join就是在等花费时间最长的那个运行完就执行主程序了

print(‘主程序‘)

# -了解方法---------------

# p1.terminate() #强制关闭进程

# time.sleep(3)

# print(p1.is_alive()) #看是不是还活着

# print(p1.name) #查看进程名字

# print(p1.pid) #查看id号

# print(‘主程序‘)

三、进程间的三种通信(IPC)方式:

方式一:队列(推荐使用)

进程彼此之间互相隔离,要实现进程间通信(IPC),multiprocessing模块支持两种形式:队列和管道,这两种方式都是使用消息传递的

1.队列:队列类似于一条管道,元素先进先出

需要注意的一点是:队列都是在内存中操作,进程退出,队列清空,另外,队列也是一个阻塞的形态

2.队列分类

队列有很多种,但都依赖与模块queue

queue.Queue() #先进先出

queue.LifoQueue() #后进先出

queue.PriorityQueue() #优先级队列

queue.deque() #双线队列

创建队列的类(底层就是以管道和锁定的方式实现):

Queue([maxsize]):创建共享的进程队列,Queue是多进程安全的队列,

可以使用Queue实现多进程之间的数据传递。

参数介绍:

maxsize是队列中允许最大项数,省略则无大小限制。

方法介绍:

q.put方法用以插入数据到队列中,put方法还有两个可选参数:blocked和timeout。如果blocked为True(默认值),并且timeout为正值,该方法会阻塞timeout指定的时间,直到该队列有剩余的空间。如果超时,会抛出Queue.Full异常。如果blocked为False,但该Queue已满,会立即抛出Queue.Full异常。

q.get方法可以从队列读取并且删除一个元素。同样,get方法有两个可选参数:blocked和timeout。如果blocked为True(默认值),并且timeout为正值,那么在等待时间内没有取到任何元素,会抛出Queue.Empty异常。如果blocked为False,有两种情况存在,如果Queue有一个值可用,则立即返回该值,否则,如果队列为空,则立即抛出Queue.Empty异常.

q.get_nowait():同q.get(False)

q.put_nowait():同q.put(False)

q.empty():调用此方法时q为空则返回True,该结果不可靠,比如在返回True的过程中,如果队列中又加入了项目。

q.full():调用此方法时q已满则返回True,该结果不可靠,比如在返回True的过程中,如果队列中的项目被取走。

q.qsize():返回队列中目前项目的正确数量,结果也不可靠,理由同q.empty()和q.full()一样

应用:

#队列

# 1.可以往队列里放任意类型的

# 2.先进先出

from multiprocessing import Process,Queue

q= Queue(3)

q.put(‘first‘) #默认block=True

q.put(‘second‘)

q.put(‘third‘)

print(q.get())

print(q.get())

print(q.get())

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/455441.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python实现修改图片尺寸

起步 很多小伙伴从网上找的图片可能图片尺寸与自己的需求不符合 今天小编就教大家使用python写一个简单脚本程序实现修改图片的尺寸 环境准备 首先我们需要python环境,它的安装可以参考:python安装以及版本检测 其次我们还需要安装一个python图形化的库PIL PIL的安装,这里…

数据集

https://zhuanlan.zhihu.com/p/25138563转载于:https://www.cnblogs.com/zhangbojiangfeng/p/7039725.html

常见的攻击手段及其防御方式

本文简单介绍几种常见的攻击手段及其防御方式 XSS(跨站脚本攻击)CSRF(跨站请求伪造)SQL注入DDOSXSS 概念 全称是跨站脚本攻击(Cross Site Scripting),指攻击者在网页中嵌入恶意脚本程序。案列 比如说我写了一个博客网站…

使用ffmpeg进行h.264编码

m_fmt->video_codec CODEC_ID_H264; /* 添加视频流 */ m_video_st av_new_stream(m_oc, 0); if (!m_video_st) { return 0; } m_videocavcodec_alloc_context(); m_videoc m_video_st->codec; /* 视频相关参数 */ m_videoc->codec_id m_fmt->video_codec; m_…

关于java的关键字 transient

我们都知道一个对象只要实现了Serilizable接口,这个对象就可以被序列化,Java的这种序列化模式为开发者提供了很多便利,我们可以不必关系具体序列化的过程,只要这个类实现了Serilizable接口,这个的所有属性和方法都会自…

python中文件变化监控-watchdog

起步 在python中文件监控主要有两个库,一个是pyinotify,一个是watchdog。pyinotify依赖于Linux平台的inotify,后者则对不同平台的的事件都进行了封装。因为我主要用于Windows平台,所以下面着重介绍watchdog(推荐大家阅…

python决策树分类鸢尾花_基于决策树—鸢尾花分类

决策树算法广泛应用于:语音识别、医疗诊断、客户关系管理、模式识别、专家系统等,在实际工作中,必须根据数据类型的特点及数据集的大小,选择合适的算法。本文选择经典案例——《鸢尾花分类》一、决策树定义决策树算法是一种基于实…

希捷宣布出货双碟装1TB硬盘 单碟500GB上市

希捷今天宣布,单碟容量高达500GB的Barracuda 7200.12 1TB硬盘已经出货。 现有的1TB硬盘产品一般都是三碟装(此前也有四碟装),包括希捷自家的ST31000340AS,但希捷一进率先将其升级为双碟装,存储密度也达到了329Gb每平方英寸。这样一…

P1334 瑞瑞的木板

题目描述 瑞瑞想要亲自修复在他的一个小牧场周围的围栏。他测量栅栏并发现他需要N(1≤N≤20,000)根木板,每根的长度为整数Li(1≤Li≤50,000)。于是,他神奇地买了一根足够长的木板,长度为所需的N…

FFMpeg的output_example.c例子分析

该例子讲了如何输出一个libavformat库所支持格式的媒体文件。 (1)av_register_all(),初始化libavcodec库,并注册所有的编解码器和格式。 (2)guess_format(),根据文件名来获取输出文件格式&#…

大量数据+同步+多线程_Vulkan 多线程渲染

1. Overview of Vulkan1.1 计算机图形软件图形软件有两个大类:专用软件包(special-purpose packages)和通用编程软件包(general programming packages)。专用软件包通常提供一种UI设计语言,让用户直接生成想…

飞康任命Gartner前分析师担任亚洲区市场总监

在虚拟化、数据保护和数据迁移领域具备15年创新经验的美国飞康软件公司(FalconStor Software, Inc.,NASDAQ:FALC)近日宣布任命张瑾(Jimmie Chang)先生担任该公司亚洲区市场部门负责人。 飞康公司近日面向全…

12_登陆案例

13131转载于:https://www.cnblogs.com/ZHONGZHENHUA/p/7044846.html

如何基于FFMPEG和SDL写一个少于1000行代码的视频播放器

http://blog.csdn.net/eplaylity/archive/2008/12/05/3454431.aspx http://www.cnblogs.com/konyel/tag/SDLGuide%E4%B8%AD%E6%96%87%E8%AF%91%E7%89%88/ ffmpeg文档http://blog.sina.com.cn/s/blog_46dc65a90100a91b.html http://dranger.com/ffmpeg/ffmpeg.html VLC核心功能部…

Flask 概述

什么是Web Framework? Web Application Framework(Web应用程序框架)或简单的Web Framework(Web框架)表示一个库和模块的集合,使Web应用程序开发人员能够编写应用程序,而不必担心协议&#xff0…

(五)Maven中的聚合和继承

一、为什么要聚合? 定义:我们在开发过程中,创建了2个以上的模块,每个模块都是一个独立的maven project,在开始的时候我们可以独立的编译和测试运行每个模块,但是随着项目的不断变大和复杂化,我们…

python堆栈反向输出列表_python - IPython:将Python脚本的输出重定向到文件(如bash) - 堆栈内存溢出...

IPython有自己的上下文管理器来捕获stdout / err ,但它没有重定向到文件,它重定向到一个对象:from IPython.utils import iowith io.capture_output() as captured:%run my_script.pyprint captured.stdout # prints stdout from your script…

关于datagrid

基本在公司使用的datagrid不需要自己写前台代码,只需要自己给grid明确id,url以及列属性即可。 后台需要返回一个数据类型:{recordsFiltered2, data[], drawnull, recordsTotal2},通常返回这个数据类型的话,只需要调用d…

M-JPEG、MPEG4、H.264都有何区别 依维安防论坛

压缩方式是网络视频服务器和网络摄像机的核心技术,压缩方式很大程度上决定着图像的质量、压缩比、传输效率、传输速度等性能,它是评价网络视频服务器和网络摄像机性能优劣的重要一环。 随着多媒体技术的发展,相继推出了许多压缩编码标准&…

Django/Flask/Tornado三大web框架性能分析

写在前面:本文的数据涉及到之前遇到过的问题,大概一次 http 请求到收到响应需要多少时间。这个问题在实际工作中与框架有比较大的关系,因此特别就框架的性能做了一次分析。这里使用之前的一个报告数据: Pythons Web Framework Ben…