Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio)

在Python中,多线程、多进程和基于协程的异步I/O是实现并发编程的三种主要方法。每种方法都有其特定的使用场景和优势。理解这些不同方法的基础原理和适用情境对于编写高效、可扩展的Python程序至关重要。

多线程(threading

  • 概念:多线程允许程序在同一时间执行多个任务。每个线程代表一个执行序列,这意味着程序可以在一个核心或多个核心上并行执行多个线程。
  • 适用场景:适用于I/O密集型任务,如文件读写、网络请求等,因为在等待I/O操作完成时,其他线程可以继续执行。
  • 限制:由于Python的全局解释器锁(GIL),在执行CPU密集型任务时,多线程可能不会带来性能上的提升,因为GIL限制了同一时间只有一个线程能执行Python字节码。因此,对于计算密集型任务,多线程在多核处理器上并不总是能有效利用多核的优势。
代码实现

使用threading模块创建并启动线程:

import threading
import timedef thread_function(name):print(f"Thread {name}: starting")time.sleep(2)print(f"Thread {name}: finishing")if __name__ == "__main__":print("Main    : before creating thread")x = threading.Thread(target=thread_function, args=(1,))print("Main    : before running thread")x.start()print("Main    : wait for the thread to finish")# x.join() # Uncomment this to wait for the thread to finishprint("Main    : all done")

多进程(multiprocessing

  • 概念:多进程通过创建多个进程来实现并发,每个进程在其自己的Python解释器中运行,并且拥有独立的内存空间。
  • 适用场景:适合CPU密集型任务。由于每个进程有自己的GIL和内存空间,多进程能够真正并行地在多核CPU上运行,从而充分利用多核处理器的计算能力。
  • 限制:创建进程的开销比创建线程大,进程间通信(IPC)比线程间通信更复杂、成本更高。因此,对于需要频繁通信的任务,多进程可能不如多线程高效。
代码实现

使用multiprocessing模块创建并启动进程:

from multiprocessing import Process
import os
import timedef process_function(name):print(f"Process {name}: starting")time.sleep(2)print(f"Process {name}: finishing")if __name__ == '__main__':print("Main    : before creating process")p = Process(target=process_function, args=(1,))print("Main    : before running process")p.start()print("Main    : wait for the process to finish")# p.join() # Uncomment this to wait for the process to finishprint("Main    : all done")

基于协程的异步I/O(asyncio

  • 概念asyncio是Python用于编写单线程并发代码的库,通过事件循环和协程实现。协程允许任务在等待I/O操作时挂起,让出控制权给事件循环,以执行其他任务。
  • 适用场景:特别适合I/O密集型应用,如大规模网络爬虫、网络服务器等。在这些应用中,程序经常需要等待外部操作,如网络响应或磁盘I/O,asyncio可以在这些I/O等待时间中执行其他任务,从而提高程序的整体效率。
  • 限制:编写异步代码的复杂性高于同步代码,因为你需要管理事件循环,并使用asyncawait关键字正确地编写协程。此外,异步编程模型不适用于CPU密集型任务,因为它们主要通过单线程执行。
代码实现

使用asyncio模块实现异步I/O:

import asyncioasync def async_function(name):print(f"Task {name}: starting")await asyncio.sleep(2)  # 模拟I/O操作print(f"Task {name}: finishing")async def main():print("Main    : before creating task")# 创建并启动任务task1 = asyncio.create_task(async_function(1))task2 = asyncio.create_task(async_function(2))print("Main    : wait for the tasks to finish")await task1await task2print("Main    : all done")# Python 3.7及以上
asyncio.run(main())

注意事项

  • 在多线程和多进程的示例中,join()方法被注释掉了。如果取消注释,主程序将等待线程或进程完成其任务后再继续执行。这对于理解并发执行与程序等待同步完成的区别很有帮助。
  • asyncio的示例中,asyncio.run(main())启动了事件循环,运行了主协程main(),在其中又并发运行了两个异步任务。这演示了异步编程中任务调度和并发执行的基本原理。
  • 这些代码示例旨在展示每种并发模型的基本结构和用法,实际应用中可能需要更复杂的错误处理和性能优化。

总结

选择哪种并发模型取决于你的具体需求:

  • 对于I/O密集型任务,使用多线程或asyncio
  • 对于需要大量计算并希望利用多核CPU的应用,使用多进程。
  • 当需要同时处理大量网络连接时,考虑使用asyncio

正确地结合使用这些模型,可以让你的Python程序在不同的场景下达到最优性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/771210.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面试(三)

1.介绍一下自己吧? 要求:言简意赅,和应聘岗位相关的简历(根据公司岗位更改自我介绍),为什么能够胜任这个岗位的工作,为什么要应聘这个岗位的原因是什么?(职业规划) 总结&#xff1…

华清远见作业第五十三天——ARM(第七天)

代码 key_inc.h #ifndef __KEY_INC_H__ #define __KEY_INC_H__ #include "stm32mp1xx_gic.h" #include "stm32mp1xx_exti.h" #include "stm32mp1xx_rcc.h" #include "stm32mp1xx_gpio.h"void key1_it_config();void key2_it_config(…

【polarctf的部分题解】

【web】phar —》私有属性赋值 当时遇到不知道privated该怎样赋值才可以&#xff0c;链子挺简单的&#xff0c;但是语法不熟悉 <?php include funs.php; highlight_file(__FILE__); if (isset($_GET[file])) {if (myWaf($_GET[file])) {include($_GET[file]);} else {unse…

案例分析:汽车零配件行业CRM解决方案,成功案例揭秘!

近年来&#xff0c;国家大力推动新能源汽车行业发展&#xff0c;在国内汽车工业实现“弯道超车”的同时&#xff0c;新能源汽车出口海外&#xff0c;新市场有望为自主新能源方向贡献增量。 汽车行业的快速发展&#xff0c;势必会带动汽车零配件行业走向增长。从政策方面看&…

牛客网BC-33 统计成绩(数组排序思想)

题目如下 --------------------------------------------------------------------------------------------------------------------------------- 思路&#xff1a;以数组形式输入&#xff0c;并将数组顺序&#xff08;或者逆序&#xff09;排序&#xff0c;最后输出最大值最…

Redis入门到实战-第十二弹

Redis实战热身Bitfields篇 完整命令参考官网 官网地址 声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准 https://redis.io/Redis概述 Redis是一个开源的&#xff08;采用BSD许可证&#xff09;&#xff0c;用作数据库、缓存、消息代理…

并发编程之Callable、Runnable、Future与FutureTask

目录 前言一、Callable与Runnable1.1 Callable1.2 Runnable1.3 二者对比 二、Future与FutureTask2.1 Future2.2 FutureTask2.3 二者对比 三、综合使用3.1 Callable执行Future获取结果3.2 Callable执行任务FutureTask获取执行结果 四、应用场景 前言 在 Java 中&#xff0c;Cal…

小明SEO:网站域名被投诉怎么恢复呢?分享

小明SEO对他的网站进行了分析&#xff0c;发现网站上存在大量非法内容&#xff0c;比如股票、金融、外汇等&#xff0c;甚至还有虚假宣传来吸引其他网站的流量。 随后他检查了该网站的tdk设置&#xff0c;尤其是网站标题&#xff0c;发现也存在违规行为。 这就是网站域名被投诉…

富格林:抵制虚假受害保全出金

富格林指出&#xff0c;黄金一直以避险资产和投资产品闻名&#xff0c;一直备受投资者们的关注。但是在现货黄金交易中&#xff0c;有部分投资者指出不幸遭遇了虚假操作导致出金失败等受害现象。事实上&#xff0c;现货黄金火热&#xff0c;市面上也或多或少涌现了虚假操作现象…

LeetCode 两数之和 解法 (转发篇)

题&#xff1a;两数之和 给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。…

React Native 应用打包

引言 在将React Native应用上架至App Store时&#xff0c;除了通常的上架流程外&#xff0c;还需考虑一些额外的优化策略。本文将介绍如何通过配置App Transport Security、Release Scheme和启动屏优化技巧来提升React Native应用的上架质量和用户体验。 配置 App Transport…

Python 构建项目工具库之pybuilder使用详解

概要 在Python项目开发中,良好的构建和自动化流程是非常重要的。PyBuilder是一个用于构建Python项目的工具,它提供了简单易用的方式来定义和管理项目的构建过程,包括依赖管理、测试、代码质量检查等。本文将深入探讨PyBuilder库的使用方法、功能特性以及如何利用它来构建优…

SQL映射文件

一、SQL映射的xml文件 1.1 mapper元素 二、select 三、别名与Java映射 四、resultMap 啊

一道很有意思的题目(考初始化)

这题很有意思&#xff0c;需要你对初始化够了解才能解出来 &#xff0c;现在我们来看一下吧。 这题通过分析得出考的是初始化。关于初始化有以下知识点 &#xff08;取自继承与多态&#xff08;继承部分&#xff09;这文章中&#xff09; 所以根据上方那段知识点可知&#xf…

Linux/Backdoor

Backdoor Enumeration nmap 第一次扫描发现系统对外开放了22&#xff0c;80和1337端口&#xff0c;端口详细信息如下 22端口对应的是ssh服务&#xff0c;80端口使用Apache&#xff0c;title上写着backdoor&#xff0c;而且可以看出使用了wordpress&#xff0c;1337端口暂时还…

HyperWorks2023 下载地址及安装教程

HyperWorks是一套由Altair Engineering开发的集成化仿真平台。这个平台涵盖了许多不同领域的仿真和优化应用&#xff0c;包括结构分析、流体力学、多体动力学、优化、电磁场分析等。 HyperWorks提供了一系列强大的工具和模块&#xff0c;用于进行复杂的工程仿真和优化任务。它…

Rust 的 HashMap 特定键值元素值的累加方法

在Rust中&#xff0c;如果你想要对HashMap中特定键对应的值进行累加操作&#xff0c;你需要首先检查该键是否已存在。如果存在&#xff0c;则取出其值&#xff0c;进行累加&#xff0c;然后将结果存回HashMap。如果不存在&#xff0c;则可能需要插入一个新的键值对&#xff0c;…

Unity VideoPlayer 全屏到 FGUI

需求&#xff1a; 利用VideoPlayer将视频全屏显示到FGUI上。 解决方案&#xff1a; 在FGUI上创建一个全屏UI&#xff0c;创建一个装载器&#xff0c;大小设置为全屏。 设置 VideoPlayer 的渲染方式为 RenderMode.RenderTexture. 创建RenderTexture&#xff0c;&#xff08;将视…

数据结构 之 队列习题 力扣oj(附加思路版)

优先级队列 #include<queue> --队列 和 优先级队列的头文件 优先级队列&#xff1a; 堆结构 最大堆 和 最小堆 相关函数&#xff1a; front() 获取第一个元素 back() 获取最后一个元素 push() 放入元素 pop() 弹出第一个元素 size() 计算队列中元素…

简单了解synchronized

什么是synchronized synchronized是Java提供的一个关键字&#xff0c;用于方法或者代码块&#xff0c;保证并发安全。 synchronized使用场景 同步代码块&#xff08;原子性&#xff09; synchronized可以用在方法上&#xff0c;或者用在代码块。 可锁的对象可以是普通对象…