【python并发任务的几种方式】

文章目录

  • 1 Process:
  • 2 Thread:
  • 3 ThreadPoolExecutor:
  • 4 各种方式的优缺点:
  • 5 线程与进程的结束方式
    • 5.1 线程结束的几种方式
    • 5.2 进程的结束方式
  • 6 应用场景效率对比

在Python中,有几种方法可以处理并行执行任务。其中,Process、Thread和ThreadPoolExecutor是常用的几种方式。

1 Process:

multiprocessing模块提供了Process类,它允许你在多进程环境中并行执行任务。每个进程都有自己的内存空间和Python解释器,因此它们可以独立地运行。

from multiprocessing import Process  def func(name):  print('Hello', name)  if __name__ == '__main__':  p1 = Process(target=func, args=('Alice',))  p2 = Process(target=func, args=('Bob',))  p1.start()  p2.start()  p1.join()  p2.join()

2 Thread:

threading模块提供了Thread类,它允许你在多线程环境中并行执行任务。线程共享同一个进程的内存空间,因此它们之间的通信比进程要快。

from threading import Thread  def func(name):  print('Hello', name)  if __name__ == '__main__':  t1 = Thread(target=func, args=('Alice',))  t2 = Thread(target=func, args=('Bob',))  t1.start()  t2.start()  t1.join()  t2.join()

3 ThreadPoolExecutor:

concurrent.futures模块提供了ThreadPoolExecutor类,它是一个线程池执行器,允许你在多线程环境中并行执行任务。与手动创建线程不同,ThreadPoolExecutor管理线程池,并在需要时分配任务。这使得代码更简洁,更容易管理。

from concurrent.futures import ThreadPoolExecutor  def func(name):  print('Hello', name)  if __name__ == '__main__':  with ThreadPoolExecutor(max_workers=2) as executor:  executor.submit(func, 'Alice')  executor.submit(func, 'Bob')

4 各种方式的优缺点:

这三种方式各有优缺点。

  • 使用Process时,每个进程都有自己的内存空间和Python解释器,因此它们是相互独立的。但是,进程之间的通信比线程更复杂,且创建进程的开销也更大。
  • -使用Thread时,线程共享同一个进程的内存空间,因此它们之间的通信更快。但是,Python的全局解释器锁(GIL)限制了同一时间只有一个线程可以执行Python字节码。
    • 使用ThreadPoolExecutor时,它提供了简单、易用的接口来管理线程池,并自动分配任务。但是,如果任务数量超过了线程池的大小,那么任务会被排队等待执行。

5 线程与进程的结束方式

5.1 线程结束的几种方式

  • 使用return语句:在Python中,你可以在线程函数中使用return语句来结束线程。当线程函数执行到return语句时,它将退出并释放资源。
import threading  def my_thread():  print("Thread is running...")  return  t = threading.Thread(target=my_thread)  
t.start()  
t.join()
  • 异常处理:如果在线程函数中抛出异常,并且没有被捕获和处理,那么线程将会结束。你可以通过捕获异常来控制线程的结束。
import threading  def my_thread():  try:  print("Thread is running...")  # Some code that may raise an exception  except Exception as e:  print("Exception occurred:", e)  return  t = threading.Thread(target=my_thread)  
t.start()  
t.join()
  • 使用线程结束标志:你可以设置一个标志来指示线程何时应该结束。当标志被设置为True时,线程可以检查该标志并决定是否退出。
import threading  
import time  class MyThread(threading.Thread):  def __init__(self):  super().__init__()  self._stop_event = threading.Event()  def run(self):  while not self._stop_event.is_set():  print("Thread is running...")  time.sleep(1)  # Pause for a while to demonstrate the stop event.  if self._stop_event.is_set():  break  # Exit the loop if stop event is set.  # Continue with your thread's logic here...  def stop(self):  self._stop_event.set()  # Set the stop event to true.  self.join()  # Wait for the thread to finish.  print("Thread has been stopped.")

5.2 进程的结束方式

  • 使用sys.exit():这是Python标准库中sys模块提供的一个函数,可以用来退出程序。
  • 使用os._exit():这是Python底层的一个函数,它与sys.exit()类似,但更直接地结束进程。
  • 使用raise SystemExit:这是Python内置的一个异常,可以用来表示程序需要退出。
  • 使用os.kill():如果需要从外部杀死一个Python进程,可以使用这个函数。
import os  
import time  pid = os.getpid()  # 获取当前进程的ID  
time.sleep(5)  # 让进程运行一段时间  
os.kill(pid, 9)  # 使用9号信号杀死进程

6 应用场景效率对比

  • 多线程在IO密集型的操作下似乎也没有很大的优势(也许IO操作的任务再繁重一些就能体现出优势),在CPU密集型的操作下明显地比单线程线性执行性能更差,但是对于网络请求这种忙等阻塞线程的操作,多线程的优势便非常显著了

  • 多进程无论是在CPU密集型还是IO密集型以及网络请求密集型(经常发生线程阻塞的操作)中,都能体现出性能的优势。不过在类似网络请求密集型的操作上,与多线程相差无几,但却更占用CPU等资源,所以对于这种情况下,我们可以选择多线程来执行

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/221662.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SQL进阶理论篇(三):什么是索引

文章目录 简介索引是万能的吗索引的种类有哪些?普通/唯一/主键/全文索引聚集索引与非聚集索引单一索引与联合索引 总结参考文献 简介 索引在SQL优化中占了很大的比重,甚至可以说,对SQL的优化,其实就是对索引的优化。 但是索引并…

《深入理解 Android ART 虚拟机》笔记

Dex文件格式、指令码 一个Class文件对应一个Java源码文件,而一个Dex文件可对应多个Java源码文件。开发者开发一个Java模块(不管是Jar包还是Apk)时: 在PC平台上,该模块包含的每一个Java源码文件都会对应生成一个同文件…

Dubbo连接协议配置基础V2.0.0

Dubbo连接所使用的协议 一、dubbo://协议 1.1、使用场景: Dubbo 缺省协议采用单一长连接和 NIO 异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。反之,Dubbo 缺省协议不适合传送大数据量的服…

Flink Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)

一、什么是增量聚合函数 在Flink Window中定义了窗口分配器,我们只是知道了数据属于哪个窗口,可以将数据收集起来了;至于收集起来到底要做什么,其实还完全没有头绪,这也就是窗口函数所需要做的事情。所以在窗口分配器…

计算机组成原理-ATT格式vsIntel格式

文章目录 AT&T格式 vs lntel格式 x86汇编语言是lntel格式,还有一种汇编语言格式是AT&T AT&T格式 vs lntel格式 lntel格式中取主存地址内容未指明长度默认为32位,对应下图中第四行右边的指令 百分号 美元符号 小括号 可用于计算机结构体数组…

竞赛保研 python+opencv+机器学习车牌识别

0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 基于机器学习的车牌识别系统 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:4分工作量:4分创新点:3分 该项目较为新颖,适…

Amazon Q:对话智能赋能企业发展

授权说明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道 。 在最近举办的亚马逊云科技大会上,引人瞩目的消息是A…

西米支付:微信支付发布了一则重大公告!从2024年1月8日开始执行。

最近,微信支付发布通告表示对服务商合作协议和规则进行了修订。这次修订进一步明确了收单外包服务机构的备案义务,并加强了对违约合作伙伴的处理措施。 修订后的协议将于2024年1月8日开始生效。 根据修订后的协议,服务商需在开始提供收单外包…

斑马zebra目标检测数据集VOC+YOLO格式2300张

斑马是由四百万年前的原马进化出来的,最早出现的斑马可能是细纹斑马。有关史前马科动物的化石现存于美国爱达荷州克文的克文化石床国家博物馆。斑马的史前马为“克文马”(美洲斑马或者克文斑马),学名为“Equussimplicidens”&…

Llinux面试题2

请描述一下 chmod 命令。 答:chmod 命令用于修改文件或目录的权限。它可以添加或删除对文件的读、写和执行权限。 在 Linux 中,如何修改文件的权限? 答:可以使用“chmod”命令来修改文件的权限。例如,通过以下命令将文…

​ 轻量应用服务器:亚马逊云科技打造全球领先的云计算解决方案

随着“第四次工业革命”的爆炸式发展,众多企业都将自己的业务与迅速发展的应用开发和网站建设领域高度绑定。而对于众多有上云需求的企业和个人用户来说,选择一款自己的服务器配置就成为了一项至关重要的任务。而随着需求端的不断扩大,云服务…

第二步:私有镜像仓库Harbor的使用

前序: 🔗第一步:私有镜像仓库Harbor的安装部署 一、将容器打包为镜像,上传到Harbor 1、查看镜像 输入命令 docker images打印返回 REPOSITORY TAG IMAGE ID CREATED …

Nacos-NacosRule 负载均衡—设置集群使本地服务优先访问

userservice: ribbon: NFLoadBalancerRuleClassName: com.alibaba.cloud.nacos.ribbon.NacosRule # 负载均衡规则 NacosRule 权重计算方法 目录 一、介绍 二、示例(案例截图) 三、总结 一、介绍 NacosRule是AlibabaNacos自己实现的一个负载均衡策略&…

《教育信息化论坛》期刊杂志论文发表投稿

《教育信息化论坛》由中原大地传媒股份有限公司主管,河南电子音像出版社、文心出版社主办,我刊立足于教育信息化、教育现代化科研,重点介绍国内外信息化、现代化教学手段、教学方式、教学传播研究的新成果和新观点,推广成功的国内…

【嵌入式开发 Linux 常用命令系列 14 -- source hello.sh 和 ./hello.sh 的区别】

文章目录 source hello.sh 和 ./hello.sh 的区别source hello.sh./hello.sh使用场景 source hello.sh 和 ./hello.sh 的区别 问题背景: 创建了目录~/.local/bin 并将其在.bashrc文件中添加到path 中,export PATH$PATH:/home/sam/.local/bin。 在 ~/.loc…

KVO(键值观察)

KVO(键值观察)是Objective-C 对观察者设计模式的一种实现。 举个栗子:指定一个被观察对象(A类),当被观察对象某个属性(A中的字符串name)发生更改时,对象(B类)会获得通知,并作出相应…

【Spring教程28】Spring框架实战:从零开始学习SpringMVC 之 请求与请求参数详解

目录 1 设置请求映射路径1.1 环境准备 1.2 问题分析1.3 设置映射路径 2 请求参数2.1 环境准备2.2 参数传递2.2.1 GET发送单个参数2.2.2 GET发送多个参数2.2.3 GET请求中文乱码2.2.4 POST发送参数2.2.5 POST请求中文乱码 欢迎大家回到《Java教程之Spring30天快速入门》&#xff…

记录 | docker报错:Key permissions are too open: Set correct permissions

docker 报错: Key permissions are too open: Set correct permissions 具体的: WARNING: UNPROTECTED PRIVATE KEY FILE! Permissions 0777 for /app/.ssh/id_rsa are too open. It is required that your private key files are NOT accessibl…

ls高级用法

1 使用通配符列出文件夹的内容 ls ~/videos/*.wmv 刚才你已经学会了如何在包含多个文件的目录中查找文件,但是还有一种更快的方法。如果你知道正在找的Tiger Woods的视频文件是Windows Media格式的,那么这个文件名一定是以.wmv为后缀的,这时…

认识缓存,一文读懂Cookie,Session缓存机制。

🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论…