Python17 多进程multiprocessing

图片

1.多进程与多线程的区别

在Python中,多线程(multithreading)和多进程(multiprocessing)是两种并行执行任务的方式,它们有一些关键的区别:

  1. 进程和线程的基本区别

    • 进程:进程是操作系统分配资源和调度的基本单位,每个进程都有自己独立的内存空间和资源。多进程环境下,同一个程序可以运行在不同的内存地址空间中,进程之间不会相互干扰。

    • 线程:线程是进程的一个执行实体,是CPU调度和执行的单位,同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单,但也容易出现数据不一致的问题。

  2. 全局解释器锁(GIL)

    • Python(尤其是CPython)中有一个称为全局解释器锁(GIL)的机制,它影响了多线程的执行效率。GIL确保在任意时刻,只有一个线程在一个Python进程中执行,这意味着即使在多核CPU上,使用Python的多线程也无法实现真正的并行执行。

    • 多进程不受GIL的影响,因为每个进程都有自己的Python解释器和内存空间,所以可以真正并行运行。

  3. 使用场景

    • 多线程适合于I/O密集型任务,如网络请求、文件I/O等,因为线程在等待I/O的过程中可以释放GIL,让其他线程运行。

    • 多进程适合于CPU密集型任务,如大规模计算等,可以利用多核CPU的优势实现真正的并行计算。

  4. 资源消耗和开销

    • 多线程的资源消耗相对较少,创建和切换线程的开销小于进程。

    • 多进程因为每个进程需要独立的内存空间和系统资源,所以资源消耗更大,进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务,从而提高程序的性能和效率。

具体来说,multiprocessing 模块主要用于以下几个方面:

  1. 创建进程:通过 Process 类,可以创建新的进程来执行指定的任务。

  2. 进程间通信:提供了多种方式来实现进程间的通信,如队列(Queue)、管道(Pipe)、共享内存(Value 和 Array 等)等,这些机制可以让多个进程之间安全地共享数据。

  3. 进程池:通过 Pool 类,可以创建一个池子,其中包含多个工作进程,从而可以更方便地实现并行任务的执行。

  4. 同步机制:提供了多种同步原语,如锁(Lock)、信号量(Semaphore)、事件(Event)等,用于控制多个进程之间的并发访问。

  5. 执行并行任务:通过多进程的方式,可以并行执行计算密集型任务,从而提高程序的运行速度,特别是在多核 CPU 上。

3.多进程示例(并行计算不同函数)

# 这行代码是一个特殊注释,用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值,结果存入队列queue,队列用于进程间的数据传递。y = np.sin(x)queue.put(('sin', y))print("Sin computed")# 余弦函数
def compute_cos(queue, x):y = np.cos(x)queue.put(('cos', y))print("Cos computed")# 正切函数
def compute_tan(queue, x):y = np.tan(x)y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸queue.put(('tan', y))print("Tan computed")# 指数函数
def compute_exp(queue, x):y = np.exp(x)y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸queue.put(('exp', y))print("Exp computed")if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块# 创建一个管理器队列用于进程间通信manager = multiprocessing.Manager()queue = manager.Queue()# 创建输入数据x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x,范围是从-2π到2π,包含1000个元素# 创建四个进程,每个进程执行不同的计算任务processes = [multiprocessing.Process(target=compute_sin, args=(queue, x)),multiprocessing.Process(target=compute_cos, args=(queue, x)),multiprocessing.Process(target=compute_tan, args=(queue, x)),multiprocessing.Process(target=compute_exp, args=(queue, x))]# 启动所有进程for p in processes:p.start()# 等待所有进程完成for p in processes:p.join()# 从队列中获取所有结果,存入字典resultsresults = {}while not queue.empty():key, value = queue.get()results[key] = value# 使用matplotlib进行绘图plt.figure(figsize=(10, 6))if results:for key, value in results.items():plt.plot(x, value, label=key)plt.title('Various Mathematical Functions')plt.xlabel('x')plt.ylabel('f(x)')plt.ylim(-5, 5)  # 设置y轴的显示范围plt.legend()plt.show()else:print("No data to plot.")

图片


以上内容总结自网络,如有帮助欢迎转发,我们下次再见!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/857979.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vision Pro的3D跟踪能力:B端应用的工作流、使用教程和经验总结

Vision Pro的最新3D跟踪能力为工业、文博、营销等多个B端领域带来了革命性的交互体验。本文将详细介绍这一功能的工作流、使用教程,并结合实际经验进行总结。 第一部分:工作流详解 一、对象扫描 使用Reality Composer iPhone应用程序对目标对象进行3D扫描,如吉他或雕塑,…

【动态规划】1130. 叶值的最小代价生成树

1130. 叶值的最小代价生成树 难度:中等 力扣地址:https://leetcode.cn/problems/minimum-cost-tree-from-leaf-values/description/ 题目内容 给你一个正整数数组 arr,考虑所有满足以下条件的二叉树: 每个节点都有 0 个或是 2 个…

全世界都在劝退学Android的程序员

上面这些原因导致一度出现三百六十行,行行转IT的盛况。 城里的人想出来 我记得我在逛某乎的时候,有几个问题经常上热榜: “Android开发凉了吗?” “程序员的出路在哪里?” “感觉中国的程序员前途一片灰暗&#xff0…

电子SOP实施(MQTT协议)

架构图 服务与程序 用docker启动mqtt broker(服务器) 访问:http://192.168.88.173:18083/#/dashboard/overview 用户名:admin 密码:*** 消息发布者(查找sop的url地址,发布出去) 修改url,重新发布消息 import ran…

Claude 3.5 Sonnet已经上线,Claude 3.5 Opus即将上线

https://docs.anthropic.com/en/docs/about-claude/models 人工智能学习网站 https://chat.xutongbao.top/

高性能并行计算华为云实验四:快排算法实验

目录 一、实验目的 二、实验说明 三、实验过程 3.1 创建快排算法源码 3.2 makefile的创建与编译 3.3 主机文件配置与运行监测 四、实验结果与分析 4.1 结果一及分析 4.2 结果二及分析 五、实验思考与总结 5.1 实验思考 5.2 实验总结 END~ 一、实验目的…

移动端 UI 风格,诠释精致

移动端 UI 风格,诠释精致

C++跨平台socket编程

C跨平台socket编程 一、概述1.1 TCP协议1.1 TCP 的主要特性1.2 TCP报文格式 UDP报文格式IP协议使用windows编辑工具直接编辑Linux上代码 二、系统socket库1.windows上加载socket库2.创建socket2.1 windows下2.2 linux下 3.网络字节序4.bind端口5.listen监听并设置最大连接数6.a…

css布局之flex应用

/*父 100*/.parent-div {/* 这里添加你想要的属性 */display: flex;flex-direction: row; //行justify-content: space-between; //左右对齐align-items: center;flex-wrap: wrap; //换行}/*中 90 10 */.middle-div {/* 这里添加你想要的属性 */display: flex;flex-direction:…

Redis 入门篇

文章目录 Redis简介关系型数据库:非关系型数据库 Redis应用场景Redis下载和安装Redis 数据类型Redis 常用命令字符串 string 操作命令哈希 hash 操作命令列表 list 操作命令集合 set 操作命令有序集合 sorted set 操作命令通用命令 Jedis 快速入门配置依赖建立连接 / 操作 Jedi…

使用python下载图片且批量将图片插入word文档

最近有一个小的功能实现,从小某书上下载指定帖子的图片们,然后批量插入到word文档中,便于打印。于是有了以上需求。 一、下载图片 1、首先获取图片们的链接img_urls 首先,获取到的指定帖子的所有信息可以存入一个json文件中&am…

NeRF从入门到放弃4: NeuRAD-针对自动驾驶场景的优化

NeuRAD: Neural Rendering for Autonomous Driving 非常值得学习的一篇文章,几乎把自动驾驶场景下所有的优化都加上了,并且也开源了。 和Unisim做了对比,指出Unisim使用lidar指导采样的问题是lidar的垂直FOV有限,高处的东西打不…

深入源码设计!Vue3.js核心API——Computed实现原理

如果您觉得这篇文章有帮助的话!给个点赞和评论支持下吧,感谢~ 作者:前端小王hs 阿里云社区博客专家/清华大学出版社签约作者/csdn百万访问前端博主/B站千粉前端up主 此篇文章是博主于2022年学习《Vue.js设计与实现》时的笔记整理而来 书籍&a…

【AI技术】GPT-4o背后的语音技术猜想

前言: 本篇文章全文credit 给到 台大的李宏毅老师,李宏毅老师在机器学习上风趣幽默、深入浅出的讲解,是全宇宙学AI、讲中文学生的福音,强力推荐李宏毅老师的机器学习课程和深度学习 人工智能导论; 李宏毅老师的个人长…

wordpress教程自动采集并发布工具

随着互联网的快速发展,越来越多的人开始关注网络赚钱。而对于许多人来说,拥有一个自己的个人网站是一个不错的选择。然而,要让自己的个人网站内容丰富多样,就需要不断地进行更新。那么,有没有一种方法可以让我们轻松地…

1-Wire的使用

代码: ds18b20.c /*《AVR专题精选》随书例程3.通信接口使用技巧项目:1-Wire 单总线的使用文件:ds1820.c说明:DS18B20驱动文件。为了简单,没有读取芯片地址,也没有计算校验作者:邵子扬时间&…

实现文件分片合并功能并使用Github Actions自动编译Release

一、编译IOS镜像 1.1 编译 起因是公司电脑使用的Win11 23H2的预览版,这个预览版系统的生命周期只到2024-09-18,到期后就会强制每两小时重启。这是Windows强制升级系统的一种手段。 虽然公司里的台式电脑目前用不到,但是里面还保留许多旧项…

Why RAG is slower than LLM?

I used RAG with LLAMA3 for AI bot. I find RAG with chromadb is much slower than call LLM itself. Following the test result, with just one simple web page about 1000 words, it takes more than 2 seconds for retrieving: 我使用RAG(可能是指某种特定的…

【大数据 复习】第8章 Hadoop架构再探讨

一、概念 1.Hadoop1.0的核心组件(仅指MapReduce和HDFS,不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件),主要存在以下不足: (1)抽象层次低,需人工编码 (2&#xf…

md5在ida中的识别

ida中 识别md5 ,先右键转为hex 或者按h _DWORD *__fastcall MD5Init(_DWORD *result) {*result 0;result[1] 0;result[2] 1732584193;result[3] -271733879;result[4] -1732584194;result[5] 271733878;return result; }在ida中当然也可以使用搜索 search imdate-value …