Python并发编程 05 锁、同步条件、信号量、线程队列、生产者消费者模型

文章目录

  • 一、基础概念
  • 二、同步锁
  • 三、线程死锁和递归锁
  • 四、同步条件(event)
  • 五、信号量
  • 六、线程队列(queue)
    • 1、常用方法
    • 2、queue模块的三种模式
      • (1)FIFO队列
      • (2)LIFO队列
      • (3)按优先级
  • 七、生产者消费者模型

一、基础概念

①并发: 系统在一段时间内,处理多个任务的能力
②并行: 系统在同一时刻,处理多个任务的能力
③同步: 当进程执行到一个IO(等待外部数据)的时候,等待,不继续向下运行。
④异步: 当进程执行到一个IO(等待外部数据)的时候,不等待,而是先执行其他代码,一直到数据接收成功,再回来处理。
⑤GIL: 全局解释锁。同一时刻,在同一进程下,如果有多个线程,但CPU只能执行其中一个。
⑥任务分两种: IO密集型和计算密集型。
  对于IO密集型的任务,python的多线程可以加快速度,可以采用多进程+协程处理。
  对于计算密集型的任务,python的多线程反而因为切换的开销,增加处理时间。

二、同步锁

同步锁也叫互斥锁
(1)未加同步锁情形

import threading
import timedef sub():global numtemp = numtime.sleep(0.001)num = temp -1num = 100l = []for i in range(100):t = threading.Thread(target=sub)t.start()l.append(t)for t in l:t.join()print(num)  # 98 输出结果不确定

上述代码中,各个线程在时间片轮转时,自己可能还没执行完,造成num值还未改变,就切换到其他线程了。所以num的值输出不固定(取决于cpu的执行速度)
(2)加同步锁情形

import threading
import timedef sub():global numlock.acquire() # 申请同步锁temp = numtime.sleep(0.001)num = temp - 1lock.release() # 释放同步锁num = 100l = []
lock = threading.Lock() # 创建同步锁对象for i in range(100):t = threading.Thread(target=sub)t.start()l.append(t)for t in l:t.join()print(num)  # 0

在执行 lock.acquire() 后,线程不允许被切换,在执行 lock.release() 后,才允许切换线程。

三、线程死锁和递归锁

在线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且同时等待对方的资源,就会造成死锁。这两个线程在无外力作用下将一直等待下去。例:

import threading
import timeclass MyThread(threading.Thread):def actionA(self):A.acquire()print(self.name,"actionA gotA",time.strftime("%X"))time.sleep(1)B.acquire()print(self.name, "actionA gotB", time.strftime("%X"))time.sleep(1)B.release()A.release()def actionB(self):B.acquire()print(self.name, "actionB gotB", time.strftime("%X"))time.sleep(1)A.acquire()print(self.name, "actionB gotA", time.strftime("%X"))time.sleep(1)A.release()B.release()def run(self):self.actionA()self.actionB()if __name__ == '__main__':A = threading.Lock()B = threading.Lock()L = []for i in range(3):t = MyThread()t.start()L.append(t)for i in L:i.join()print("ending...")

第一个线程在执行完actionA方法的B.release()时,第二个线程开始执行actionA方法的A.acquire()。然后两个线程并发运行,直到第一个线程执行actionB方法的A.acquire(),第二个线程执行actionA方法的B.acquire,形成死锁。
解决方法——递归锁
递归锁可以看成有个计数器默认count=0,执行acquire时,count+1;执行release时,count-1。只有当count=0时,才允许新的线程执行acquire后续语句。

import threading
import timeclass MyThread(threading.Thread):def actionA(self):r_lock.acquire()    # count=1print(self.name,"actionA gotA",time.strftime("%X"))time.sleep(1)r_lock.acquire()    # count=2print(self.name, "actionA gotB", time.strftime("%X"))time.sleep(1)r_lock.release()    # count=1r_lock.release()    # count=0def actionB(self):r_lock.acquire()print(self.name, "actionB gotB", time.strftime("%X"))time.sleep(1)r_lock.acquire()print(self.name, "actionB gotA", time.strftime("%X"))time.sleep(1)r_lock.release()r_lock.release()def run(self):self.actionA()self.actionB()if __name__ == '__main__':r_lock = threading.RLock()L = []for i in range(3):t = MyThread()t.start()L.append(t)for i in L:i.join()print("ending...")

四、同步条件(event)

event是一个简单的同步对象。
event可以使两个线程同步。
event = threading.Event() 创建同步条件对象
执行event.wait()的线程将等待flag被设定,而阻塞。event.set() 设定flag。当flag被设定的时候,执行event.wait()的线程将不被阻塞,相当于pass。当执行event.clear(),flag将被清除,event.wait()将继续阻塞。多个线程可以等候同一个event对象。

import threading,time
class Boss(threading.Thread):def run(self):print("BOSS:今晚大家都要加班到22:00。")print("first:",event.isSet())# Falseevent.set()time.sleep(3)print("BOSS:<22:00>可以下班了。")print("second:",event.isSet())  # Falseevent.set()class Worker(threading.Thread):def run(self):event.wait()#    一旦flag被设定,event等同于passprint("Worker:哎……命苦啊!")time.sleep(1)event.clear()event.wait()print("Worker:OhYeah!")if __name__=="__main__":event=threading.Event()threads=[]for i in range(5):threads.append(Worker())threads.append(Boss())for t in threads:t.start()for t in threads:t.join()print("ending.....")

五、信号量

Semaphore(count)设定一个计数器count,然后每执行acquire()时,count-1,执行release()时,count+1。当count=0时,再执行acquire()将阻塞线程。相当于同步锁的一个扩展,同步锁的count最大等于1.。

import threading,timeclass myThread(threading.Thread):def run(self):if semaphore.acquire(): # 允许5个线程同时进print(self.name)time.sleep(2)semaphore.release() # 5个线程同时释放锁if __name__=="__main__":semaphore=threading.Semaphore(5)    # 相当于申请了5把锁thrs=[]for i in range(100):thrs.append(myThread())for t in thrs:t.start()

六、线程队列(queue)

同一个进程下的多个线程,共享该queue数据

1、常用方法

put(item): 在队列队尾插入一个item。其参数block默认为True,如果队列已满,将阻塞线程。设置block=False,队列已满,将不会阻塞线程,而是引发Full异常。
get(): 将一个值从队列中取出,其参数block默认为True,如果队列已空,将阻塞线程。设置block=False,队列已空,将不会阻塞线程,而是引发Empty异常。
qsize(): 返回队列大小(实际存储数据的个数)
empty(): 如果队列为空,返回True,反之False
full(): 如果队列已满,返回True,反之False
full: 与maxsize大小对应
get_nowait(): 相当于get(block=False)
**put_nowait(item):**相当于put(item,block=False)
task_done() 和 join(): 每当向队列中put()一个item时,未完成任务的计数unfinished_tasks就会加1。调用一次task_done(),unfinished_tasks会减1:
  当unfinished_tasks=0时,join()相当于pass。
  当unfinished_tasks>0时,join()会阻塞线程。
  当调用task_done()次数多于put()时,会引发异常ValueError: task_done() called too many times

2、queue模块的三种模式

(1)FIFO队列

先进先出

import queueq = queue.Queue(3) # FIFO模式
# Queue(maxsize)的参数maxsize为队列最大长度,缺省,则队列长度无限长。q.put(12)
q.put("hello")
q.put({"age":18})while True:data = q.get()print(data)print("---------")'''
12
---------
hello
---------
{'age': 18}
---------
'''

(2)LIFO队列

后进先出,类似于栈

import queueq = queue.LifoQueue() # LIFO模式q.put(12)
q.put("hello")
q.put({"age":18})while True:data = q.get()print(data)print("---------")'''
{'age': 18}
---------
hello
---------
12
---------
'''

(3)按优先级

设置优先级数字越小,越先出来

import queueq = queue.PriorityQueue() # 按优先级模式q.put([3,12])
q.put([2,"hello"])
q.put([4, {"age": 18}])while True:data = q.get()print(data)print("---------")'''
[2, 'hello']
---------
[3, 12]
---------
[4, {'age': 18}]
---------
'''

七、生产者消费者模型

生产数据的线程就是生产者,消费数据的线程就是消费者。为了解决生产者生产速度和消费者消费数据速度不均衡的问题,需要引入一个阻塞队列作为缓冲区。

import threading, queue
import timedef consumer(q):while True:item = q.get()print(f"Consume {item}\n",end="")time.sleep(1)q.task_done()def producer(q):for i in range(10):q.put(i)print("in production...\n", end="")q.join()print("finish!\n",end="")q = queue.Queue()t1 = threading.Thread(target=consumer, args=(q,),daemon=True)
t2 = threading.Thread(target=consumer, args=(q,),daemon=True)t1.start()
t2.start()producer(q)
print("end")

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/12216.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【JS面试题】原型原型链

一、面试真题展示&#xff1a; 1. 如何准确判断一个变量是不是数组&#xff1f; ① 使用instanceof进行判断&#xff1a;a instanceof Array ② 使用Array.isArray()进行判断&#xff1a;Array.isArray(a) 2. 手写一个简易的jQuery&#xff0c;考虑插件和扩展性&#xff1f; …

内网工具之LDP的使用

LDP 是微软自带的一款活动目录信息查询工具&#xff0c;在域控的 cmd 窗口执行 ldp 命令即可打开 LDP 工具。普通域成员主机默认是没有 LDP 工具的&#xff0c;可以自行上传ldp.exe 工具上去查询活动目录信息。不在域内的机器&#xff0c;也可以通过上传 ldp.exe 工具上去执行。…

tomcat--目录结构和文件组成

目录结构 目录说明bin服务启动&#xff0c;停止等相关程序和文件conf配置文件lib库目录logs日志记录webapps应用程序&#xff0c;应用部署目录workjsp编译后的结果文件&#xff0c;建议提前预热访问 /usr/local/apache-tomcat-8.5.100/work/Catalina/localhost/ROOT/org/apac…

c++string类型

概述 string类型是c的字符串类型&#xff0c;其继承自basic_string类。使用string需要导入头文件#include <string>,并且在命名空间std下。cstring是否是写时复制? (像Qt的string一样)? 经过自己的测试&#xff0c;推断&#xff0c;c的方式不是写时复制&#xff0c;其在…

PingCAP 戴涛:构建面向未来的金融核心系统

作者&#xff1a;戴涛 导读 近日&#xff0c;平凯星辰解决方案技术部总经理戴涛在 2024 数据技术嘉年华活动中&#xff0c;做了主题为“构建面向未来的金融核心系统”的分享&#xff0c;本文为戴涛演讲实录的全文。 文章分析了中国金融行业的发展趋势&#xff0c;并且基于这…

在 Mac OS 上使用 Homebrew 打造便捷的软件安装体验:apt-get install 就是brew install:

标题&#xff1a;在 Mac OS 上使用 Homebrew 打造便捷的软件安装体验 在 Mac OS 系统中&#xff0c;虽然不支持 apt-get install&#xff0c;但我们有幸拥有 Homebrew 这样出色的包管理器。它为我们在 Mac 上安装各种所需软件提供了极大的便利。 一、安装 Homebrew 要安装 Home…

算法提高之加成序列

算法提高之加成序列 核心思想&#xff1a;迭代加深 dfs 从上往下逐渐增大depth 这样下面没有用的方案就不用遍历了 #include <iostream>#include <cstring>#include <algorithm>using namespace std;const int N 110;int n;int path[N];//当前求哪个位置…

PDF编辑阅读器PDF Expert for Mac v3.10.1中文激活版

PDF Expert for Mac是一款易于使用的 PDF 编辑器和注释器&#xff0c;专为 Mac 设备设计。它允许用户轻松查看、编辑、签名、注释和共享 PDF。该软件使用户能够向他们的 PDF 添加文本、图像、链接和形状&#xff0c;突出显示和标记文本&#xff0c;填写表格以及签署数字文档。它…

STL----resize

resize的作用 设置容器元素个数和初始值。 resize和reserve resize即改变容器元素个数&#xff0c;也改变容器容量。 reserve只改变容器容量&#xff0c;不改变容器元素个数。 reserve有什么用 reserve---存储&#xff0c;容量&#xff0c;保留。 1&#xff0c;设置容器容…

Python实现麦克风录音保存到wav

功能展示&#xff1a; 运行环境&#xff1a; Python: 3.10.4 64-bit 操作系统&#xff1a; 截图环境&#xff1a;win10 64-bit 视频录屏环境&#xff1a;win10 64-bit 功能说明&#xff1a; 点击界面开始按钮开始录音&#xff0c;点击停止按钮结束录音。 源码文件列表&…

十二生肖Midjourney绘画大挑战:释放你的创意火花

随着AI艺术逐渐进入大众视野&#xff0c;使用Midjourney绘制十二生肖不仅能够激发我们的想象力&#xff0c;还能让我们与传统文化进行一场新式的对话。在这里&#xff0c;我们会逐一提供给你创意满满的绘画提示词&#xff0c;让你的作品别具一格。而且&#xff0c;我们还精选了…

扫码枪与Input的火花

文章目录 前言一、需求&#xff1a;交互细节二、具体实现两个核心的函数&#xff1a;自动聚焦 三&#xff0c;扩展知识input 与 change的区别 前言 在浏览器扫描条形码获取条形的值&#xff0c;再操作对应的逻辑。这是比较常见的业务&#xff0c;这里记录实际操作。 其中PC端…

2023年国赛高教杯数学建模C题蔬菜类商品的自动定价与补货决策解题全过程文档及程序

2023年国赛高教杯数学建模 C题 蔬菜类商品的自动定价与补货决策 原题再现 在生鲜商超中&#xff0c;一般蔬菜类商品的保鲜期都比较短&#xff0c;且品相随销售时间的增加而变差&#xff0c;大部分品种如当日未售出&#xff0c;隔日就无法再售。因此&#xff0c;商超通常会根据…

JSON 转为json串后出现 “$ref“

问题描述 转为JSON 串时出现 "$ref":"$.RequestParam.list[0]" $ref&#xff1a; fastjson数据重复的部分会用引用代替&#xff0c;当一个对象包含另一个对象时&#xff0c;fastjson就会把该对象解析成引用 “$ref”:”..” 上一级 “$ref”:”” 当前对…

2、架构-服务间的通信

远程服务将计算机程序的工作范围从单机扩展至网络&#xff0c;从本地延 伸至远程&#xff0c;是构建分布式系统的首要基础。而远程服务又不仅仅是为 分布式系统服务的&#xff0c;在网络时代&#xff0c;浏览器、移动设备、桌面应用和服 务端的程序&#xff0c;普遍都有与其他设…

分布式搜索-elaticsearch基础 安装es

这里是在虚拟机的Linux系统里安装es的教程: 1.创建网络 在Finashell终端输入指令 docker network create es-net 2.将es.tar安装包放入tmp的目录下 输入指令加载镜像&#xff1a;docker load -i es.tar 3.再运行docker 命令 docker run -d \--name es \-e "ES_JAVA_O…

UE4_照亮环境_光束light beam

学习笔记&#xff0c;不喜勿喷&#xff0c;侵权立删&#xff01;祝愿生活越来越好&#xff01; 光束&#xff1a;模拟大气中散射的光线。利用定向光源模拟真实曙暮光效果或大气散射的阴影&#xff0c;即可生成 光束 。这些光线为场景添加深度和真实度。 一&#xff1a;一些参数…

RabbitMQ部署指南.md

RabbitMQ部署指南 1.单机部署 我们在Centos7虚拟机中使用Docker来安装。 1.1.下载镜像 方式一&#xff1a;在线拉取 docker pull rabbitmq:3.8-management方式二&#xff1a;从本地加载 在课前资料已经提供了镜像包&#xff1a; 上传到虚拟机中后&#xff0c;使用命令加载…

ASP.NET银行大厅自助信息系统的开发与实现

摘 要 本毕业设计在基于银行业务大厅现有业务的基础上&#xff0c;针对自助银行的概念和其独有特点&#xff0c;通过.NETSQL技术&#xff0c;开发一个简单的银行大厅自助信息系统&#xff0c;完成一些自助银行的业务需求如帐户信息查询、帐户挂失、自助交费、留言、新闻查询…

jmeter中java请求,解决不支持协议和元件,实现自定义元件

目录 java请求 作用场景 JavaTest类源码分析 编写java请求样例 新建java工程&#xff0c;导入jmeter主要依赖。 编写java请求类&#xff0c;继承AbstractJavaSamplerClient, 导入工程为jar包&#xff0c;放置jmeter安装目录下lib/ext目录 重启jmeter&#xff0c;添加ja…