Python 中的 queue 模块队列详解;队列如何使用——如何处理信息在多个线程间安全交换的多线程程序?

queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。下面我们对 queue 模块进行一个详细的使用介绍。

1 queue 模块定义的类和异常

queue 模块定义了以下四种不同类型的队列,它们之间的区别在于数据入队列之后出队列的顺序不同。

1.1 queue.Queue(maxsize=0)

先进先出(First In First Out: FIFO)队列,最早进入队列的数据拥有出队列的优先权,就像看电影入场时排队一样,排在队伍前头的优先进入电影院。

入参 maxsize 是一个整数,用于设置队列的最大长度。一旦队列达到上限,插入数据将会被阻塞,直到有数据出队列之后才可以继续插入。如果 maxsize 设置为小于或等于零,则队列的长度没有限制。

示例如下:

import queue
q = queue.Queue()  # 创建 Queue 队列
for i in range(3):q.put(i)  # 在队列中依次插入0、1、2元素
for i in range(3):print(q.get())  # 依次从队列中取出插入的元素,数据元素输出顺序为0、1、2

1.2 queue.LifoQueue(maxsize=0)

后进先出(Last In First Out: LIFO)队列,最后进入队列的数据拥有出队列的优先权,就像栈一样。

入参 maxsize 与先进先出队列的定义一样。

示例如下:

import queue
q = queue.LifoQueue()  # 创建 LifoQueue 队列
for i in range(3):q.put(i)  # 在队列中依次插入0、1、2元素
for i in range(3):print(q.get())  # 依次从队列中取出插入的元素,数据元素输出顺序为2、1、0

1.3 PriorityQueue(maxsize=0)

优先级队列,比较队列中每个数据的大小,值最小的数据拥有出队列的优先权。数据一般以元组的形式插入,典型形式为(priority_number, data)。如果队列中的数据没有可比性,那么数据将被包装在一个类中,忽略数据值,仅仅比较优先级数字。

入参 maxsize 与先进先出队列的定义一样。

示例如下:

import queue
q = queue.PriorityQueue()  # 创建 PriorityQueue 队列
data1 = (1, 'python')
data2 = (2, '-')
data3 = (3, '100')
style = (data2, data3, data1)
for i in style:q.put(i)  # 在队列中依次插入元素 data2、data3、data1
for i in range(3):print(q.get())  # 依次从队列中取出插入的元素,数据元素输出顺序为 data1、data2、data3

1.4 queue.SimpleQueue

先进先出类型的简单队列,没有大小限制。由于它是简单队列,相比于 Queue 队列会缺少一些高级功能,下面第2-3小节将会介绍。

示例如下:

import queue
q = queue.SimpleQueue()  # 创建 SimpleQueue 队列
for i in range(3):q.put(i)  # 在队列中依次插入0、1、2元素
for i in range(3):print(q.get())  # 依次从队列中取出插入的元素,数据元素输出顺序为0、1、2

1.5 queue.Empty 异常

当队列中没有数据元素时,取出队列中的数据会引发 queue.Empty 异常,主要是不正当使用 get() 和 get_nowait() 引起的。

示例如下:

import queue
try:q = queue.Queue(3)  # 设置队列上限为3q.put('python')  # 在队列中插入字符串 'python'q.put('-') # 在队列中插入字符串 '-'q.put('100') # 在队列中插入字符串 '100'for i in range(4):  # 从队列中取数据,取出次数为4次,引发 queue.Empty 异常print(q.get(block=False))
except queue.Empty:print('queue.Empty')

1.6 queue.Full 异常

当队列数据元素容量达到上限时,继续往队列中放入数据会引发 queue.Empty 异常,主要是不正当使用 put() 和 put_nowait() 引起的。

示例如下:

import queue
try:q = queue.Queue(3)  # 设置队列上限为3q.put('python')  # 在队列中插入字符串 'python'q.put('-') # 在队列中插入字符串 '-'q.put('100') # 在队列中插入字符串 '100'q.put('stay hungry, stay foolish', block=False)  # 队列已满,继续往队列中放入数据,引发 queue.Full 异常
except queue.Full:print('queue.Full')

2 Queue、LifoQueue、PriorityQueue 和 SimpleQueue 对象的基本使用方法

Queue、LifoQueue、PriorityQueue 和 SimpleQueue 四种队列定义的对象均提供了以下函数使用方法,下面以 Queue 队列为例进行介绍。

2.1 Queue.qsize()

返回队列中数据元素的个数。

示例如下:

import queue
q = queue.Queue()
q.put('python-100')  # 在队列中插入元素 'python-100'
print(q.qsize())  # 输出队列中元素个数为1

2.2 Queue.empty()

如果队列为空,返回 True,否则返回 False。

示例如下:

import queue
q = queue.Queue()
print(q.empty())  # 对列为空,返回 True
q.put('python-100')  # 在队列中插入元素 'python-100'
print(q.empty())  # 对列不为空,返回 False

2.3 Queue.full()

如果队列中元素个数达到上限,返回 True,否则返回 False。

示例如下:

import queue
q = queue.Queue(3)  # 定义一个长度为3的队列
print(q.full())  # 元素个数未达到上限,返回 False
q.put('python')  # 在队列中插入字符串 'python'
q.put('-') # 在队列中插入字符串 '-'
q.put('100') # 在队列中插入字符串 '100'
print(q.full())  # 元素个数达到上限,返回 True

2.4 Queue.put(item, block=True, timeout=None)

item,放入队列中的数据元素。
block,当队列中元素个数达到上限继续往里放数据时:如果 block=False,直接引发 queue.Full 异常;如果 block=True,且 timeout=None,则一直等待直到有数据出队列后可以放入数据;如果 block=True,且 timeout=N,N 为某一正整数时,则等待 N 秒,如果队列中还没有位置放入数据就引发 queue.Full 异常。
timeout,设置超时时间。
示例如下:

import queue
try:q = queue.Queue(2)  # 设置队列上限为2q.put('python')  # 在队列中插入字符串 'python'q.put('-') # 在队列中插入字符串 '-'q.put('100', block = True, timeout = 5) # 队列已满,继续在队列中插入字符串 '100',等待5秒后会引发 queue.Full 异常
except queue.Full:print('queue.Full')

2.5 Queue.put_nowait(item)

相当于 Queue.put(item, block=False),当队列中元素个数达到上限继续往里放数据时直接引发 queue.Full 异常。

import queue
try:q = queue.Queue(2)  # 设置队列上限为2q.put_nowait('python')  # 在队列中插入字符串 'python'q.put_nowait('-') # 在队列中插入字符串 '-'q.put_nowait('100') # 队列已满,继续在队列中插入字符串 '100',直接引发 queue.Full 异常
except queue.Full:print('queue.Full')

2.6 Queue.get(block=True, timeout=None)

从队列中取出数据并返回该数据内容。

block,当队列中没有数据元素继续取数据时:如果 block=False,直接引发 queue.Empty 异常;如果 block=True,且 timeout=None,则一直等待直到有数据入队列后可以取出数据;如果 block=True,且 timeout=N,N 为某一正整数时,则等待 N 秒,如果队列中还没有数据放入的话就引发 queue.Empty 异常。
timeout,设置超时时间。
示例如下:

import queue
try:q = queue.Queue()q.get(block = True, timeout = 5) # 队列为空,往队列中取数据时,等待5秒后会引发 queue.Empty 异常
except queue.Empty:print('queue.Empty')

2.7 Queue.get_nowait()

相当于 Queue.get(block=False)block,当队列中没有数据元素继续取数据时直接引发 queue.Empty 异常。

示例如下:

import queue
try:q = queue.Queue()q.get_nowait() # 队列为空,往队列中取数据时直接引发 queue.Empty 异常
except queue.Empty:print('queue.Empty')

3 Queue、LifoQueue 和 PriorityQueue 对象的高级使用方法

SimpleQueue 是 Python 3.7 版本中新加入的特性,与 Queue、LifoQueue 和 PriorityQueue 三种队列相比缺少了 task_done 和 join 的高级使用方法,所以才会取名叫 Simple 了,下面介绍一下 task_done 和 join 的使用方法。

task_done,表示队列内的数据元素已经被取出,即每个 get 用于获取一个数据元素, 后续调用 task_done 告诉队列,该数据的处理已经完成。如果被调用的次数多于放入队列中的元素个数,将引发 ValueError 异常。
join,一直阻塞直到队列中的所有数据元素都被取出和执行,只要有元素添加到 queue 中就会增加。当未完成任务的计数等于0,join 就不会阻塞。
示例如下:

import queue
q = queue.Queue()
q.put('python')
q.put('-')
q.put('100')
for i in range(3):print(q.get())q.task_done()  # 如果不执行 task_done,join 会一直处于阻塞状态,等待 task_done 告知它数据的处理已经完成
q.join()

下面是一个经典示例,生产者和消费者线程分别生产数据和消费数据,先生产后消费。采用 task_done 和 join 确保处理信息在多个线程间安全交换,生产者生产的数据能够全部被消费者消费掉。

from queue import Queue
import random
import threading
import time#生产者线程
class Producer(threading.Thread):def __init__(self, t_name, queue):threading.Thread.__init__(self, name=t_name)self.data=queuedef run(self):for i in range(5):print ("%s: %s is producing %d to the queue!" %(time.ctime(), self.getName(), i))self.data.put(i)  # 将生产的数据放入队列time.sleep(random.randrange(10)/5)print ("%s: %s finished!" %(time.ctime(), self.getName()))#消费者线程
class Consumer(threading.Thread):def __init__(self, t_name, queue):threading.Thread.__init__(self, name=t_name)self.data=queuedef run(self):for i in range(5):val = self.data.get()  # 拿出已经生产好的数据print ("%s: %s is consuming. %d in the queue is consumed!" %(time.ctime(), self.getName(), val))time.sleep(random.randrange(5))self.data.task_done() # 告诉队列有关这个数据的任务已经处理完成print ("%s: %s finished!" %(time.ctime(), self.getName()))#主线程
def main():queue = Queue()producer = Producer('Pro.', queue)consumer = Consumer('Con.', queue)producer.start()consumer.start()queue.join()  # 阻塞,直到生产者生产的数据全都被消费掉producer.join() # 等待生产者线程结束consumer.join() # 等待消费者线程结束print ('All threads terminate!')if __name__ == '__main__':main()

4 总结

本节给大家介绍了 Python 的 queue 模块,为 Python 工程师对该模块的使用提供了支撑,让大家对 queue 模块的相关概念和使用有一个初步的了解。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/210425.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cmake编译数据库

在使用CMake进行编译时,如果你想生成编译数据库,你可以定义CMAKE_EXPORT_COMPILE_COMMANDS选项。具体的命令如下: cmake -DCMAKE_EXPORT_COMPILE_COMMANDS1或者在CMakeLists.txt显示的使能配置 set(CMAKE_EXPORT_COMPILE_COMMANDS ON)这将会…

游戏玩家升级不伤手之选,光威龙武系列超强性能

得益于国产存储芯片的崛起,现在的内存条价格太香了。要放在前几年,购买内存条时都会优先考虑国际一线品牌。随着内存条行业发生巨变,国产品牌光威GLOWAY,是全球前三的内存模组厂商嘉合劲威旗下品牌,它推出的内存条产品…

Zebec 推出由 Visa、万事达网络支持的即时支付卡,加密支付新征程

“Zebec现已推出全新的加密支付卡,该卡由Visa、万事达网络支持,具备即时、多链、非托管、无需KYC、免费等特性,其能够通过加密钱包与多条主流公链链接并直接调用支付,这将是加密支付领域的里程碑事件。” 在2023年的12月8日&#…

C++中的string容器的substr()函数

一、作用 用来截取某段字符串。 二、头文件 #include<string> 三、参数与用法 形式&#xff1a;s.substr(pos, len) 第一个参数是想要截取的字符串初始位置&#xff0c;第二个参数是截取字符串长度。 直接来说&#xff0c;就是从s[pos]开始截一个长度为len的子串。…

【python交互界面】实现动态观察图像在给定HSV范围的区域显示

HSV颜色空间 与RGB颜色空间相比&#xff0c;HSV颜色空间更适合进行颜色分析和提取特定颜色的目标。在HSV空间中&#xff0c;颜色信息被分布在不同的通道上&#xff0c;使我们能够更准确地定义颜色的范围&#xff0c;并使用阈值操作轻松地分离出我们感兴趣的区域部分。 HSV三个通…

二叉树查找值为x的结点(C语言)

目录 前言 查找值为x的结点 返回值为指针 返回值为布尔类型 整体代码 前言 在二叉树结点个数、叶子结点个数、树的高度、第k层结点个数的计算&#xff08;C语言&#xff09;中&#xff0c;我们解决了关于二叉树的部分问题&#xff0c;但是还有一个问题我们放在本篇解决。 …

数据集成和人工智能驱动的见解

数字时代使数据成为人们关注的焦点&#xff0c;将其从单纯的二进制序列转变为有价值的组织资产。随着企业越来越多地转向数据驱动战略&#xff0c;数据管理的复杂性也随之增加。当前的任务不仅仅是存储甚至收集数据&#xff0c;而是将其转化为可操作的情报。本博客旨在剖析寻求…

Python中的selenium安装的步骤(浏览器自动化测试框架)

一、前言 我们今天要安装的selenium 就是浏览器自动化测试框架&#xff0c;是一个用于Web应用程序的测试工具&#xff0c;就是模拟用户操作。支持的浏览器包括Chrome&#xff0c;IE&#xff0c;Mozilla Firefox&#xff0c;Safari&#xff0c;Opera等。今天我们以Chrome为例讲…

STM32单片机项目实例:基于TouchGFX的智能手表设计(2)UI交互逻辑的设计

STM32单片机项目实例&#xff1a;基于TouchGFX的智能手表设计&#xff08;2&#xff09;UI交互逻辑的设计 目录 一、UI交互逻辑的设计 1.1 硬件平台的资源 1.2 界面切换功能 ​​​​​​​1.3 表盘界面 1.4 运动界面 ​​​​​​​1.6 设置界面 ​​​​​​​1.7 应…

不一样的年会彩瞳推荐,绮芙莉多款彩瞳彰显个性

临近年底&#xff0c;各种公司年会、跨年晚会活动也逐渐排上日程&#xff0c;出席这种正式场合&#xff0c;每个人都有自己的“杀手锏”&#xff0c;从发型妆容到穿搭都是变美小细节&#xff0c;作为心灵之窗的双眸&#xff0c;更需要一副彩瞳来提升我们的眼妆质感&#xff0c;…

微前端 ---- wujie-vue3 原理

目录 前言 设置子应用​ 预加载​ 启动子应用​ 封装 1.创建文件 2.安装依赖 3.编写组件 4.配置打包规则 5.执行打包命令 swc技术 SWC Babel Babel VS SWC 更改使用 swc 解析 使用swc 完成 esm 模式 &#xff08;export--import&#xff09; 发布到npm 更改p…

【SpringBoot】解析Springboot事件机制,事件发布和监听

解析Springboot事件机制&#xff0c;事件发布和监听 一、Spring的事件是什么二、使用步骤2.1 依赖处理2.2 定义事件实体类2.3 定义事件监听类2.4 事件发布 三、异步调用3.1 启用异步调用3.2 监听器方法上添加 Async 注解 一、Spring的事件是什么 Spring的事件监听&#xff08;…

持续集成交付CICD:使用Jenkins插件上传Nexus制品

目录 一、实验 1.使用Jenkins插件上传Nexus制品 一、实验 1.使用Jenkins插件上传Nexus制品 &#xff08;1&#xff09;Jenkins安装插件Nexus Artifact Uploader &#xff08;2&#xff09;添加凭据 &#xff08;3&#xff09;使用片段生成器生成DSL &#xff08;4&#xf…

基于Java物业管理系统

基于Java物业管理系统 功能需求 1、房产信息管理&#xff1a;系统需要提供房产信息管理功能&#xff0c;包括房产的基本信息、租赁状态、业主信息等。 2、报修管理&#xff1a;系统需要提供报修管理功能&#xff0c;业主可以通过系统提交报修申请&#xff0c;物业管理人员可…

docke网络之bridge、host、none

一、bridge网络 1.创建一个测试容器 [rootlocalhost ~]# docker run -d -it --name busybox_1 busybox /bin/sh -c "while true;do sleep 3600;done" 03b308c847edd23f21ba69afb825d92f7aaeb05b1ff4431dd47ccee439a0361a 2.查看当前机器docker有哪些网络 [rootlocal…

C++ 访问限定符

目录 访问修饰符概述 protected在类的内部和派生类中访问调用 private在类的内部访问和调用 访问修饰符概述 在C中&#xff0c;有三个主要的访问修饰符&#xff1a;public、private和protected。这些修饰符用于控制类的成员&#xff08;变量和函数&#xff09;的访问权限。…

2023年9月8日 Go生态洞察:gopls的扩展与Go生态系统的成长

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

AI材料专题报告:AI革命催生新需求国产替代推动新方向

今天分享的AI系列深度研究报告&#xff1a;《AI材料专题报告&#xff1a;AI革命催生新需求国产替代推动新方向》。 &#xff08;报告出品方&#xff1a;光大证券&#xff09; 报告共计&#xff1a;25页 1、算力需求增长催生 800G 光模块需求 算力是数字经济时代新生产力&…

2023年10月9日 Go生态洞察:深入了解类型推断及其更多细节

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

【C++ Primer Plus学习记录】if语句

目录 一、if语句 二、if else语句 三、格式化if else语句 四、if else if else结构 一、if语句 if语句让程序能够决定是否应执行特定的语句。 if有两种格式&#xff1a;if和if else。 if语句的语法与while相似&#xff1a; if(test-condition)statement; 如果test-con…