Python17 多进程multiprocessing

图片

1.多进程与多线程的区别

在Python中,多线程(multithreading)和多进程(multiprocessing)是两种并行执行任务的方式,它们有一些关键的区别:

  1. 进程和线程的基本区别

    • 进程:进程是操作系统分配资源和调度的基本单位,每个进程都有自己独立的内存空间和资源。多进程环境下,同一个程序可以运行在不同的内存地址空间中,进程之间不会相互干扰。

    • 线程:线程是进程的一个执行实体,是CPU调度和执行的单位,同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单,但也容易出现数据不一致的问题。

  2. 全局解释器锁(GIL)

    • Python(尤其是CPython)中有一个称为全局解释器锁(GIL)的机制,它影响了多线程的执行效率。GIL确保在任意时刻,只有一个线程在一个Python进程中执行,这意味着即使在多核CPU上,使用Python的多线程也无法实现真正的并行执行。

    • 多进程不受GIL的影响,因为每个进程都有自己的Python解释器和内存空间,所以可以真正并行运行。

  3. 使用场景

    • 多线程适合于I/O密集型任务,如网络请求、文件I/O等,因为线程在等待I/O的过程中可以释放GIL,让其他线程运行。

    • 多进程适合于CPU密集型任务,如大规模计算等,可以利用多核CPU的优势实现真正的并行计算。

  4. 资源消耗和开销

    • 多线程的资源消耗相对较少,创建和切换线程的开销小于进程。

    • 多进程因为每个进程需要独立的内存空间和系统资源,所以资源消耗更大,进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务,从而提高程序的性能和效率。

具体来说,multiprocessing 模块主要用于以下几个方面:

  1. 创建进程:通过 Process 类,可以创建新的进程来执行指定的任务。

  2. 进程间通信:提供了多种方式来实现进程间的通信,如队列(Queue)、管道(Pipe)、共享内存(Value 和 Array 等)等,这些机制可以让多个进程之间安全地共享数据。

  3. 进程池:通过 Pool 类,可以创建一个池子,其中包含多个工作进程,从而可以更方便地实现并行任务的执行。

  4. 同步机制:提供了多种同步原语,如锁(Lock)、信号量(Semaphore)、事件(Event)等,用于控制多个进程之间的并发访问。

  5. 执行并行任务:通过多进程的方式,可以并行执行计算密集型任务,从而提高程序的运行速度,特别是在多核 CPU 上。

3.多进程示例(并行计算不同函数)

# 这行代码是一个特殊注释,用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值,结果存入队列queue,队列用于进程间的数据传递。y = np.sin(x)queue.put(('sin', y))print("Sin computed")# 余弦函数
def compute_cos(queue, x):y = np.cos(x)queue.put(('cos', y))print("Cos computed")# 正切函数
def compute_tan(queue, x):y = np.tan(x)y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸queue.put(('tan', y))print("Tan computed")# 指数函数
def compute_exp(queue, x):y = np.exp(x)y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸queue.put(('exp', y))print("Exp computed")if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块# 创建一个管理器队列用于进程间通信manager = multiprocessing.Manager()queue = manager.Queue()# 创建输入数据x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x,范围是从-2π到2π,包含1000个元素# 创建四个进程,每个进程执行不同的计算任务processes = [multiprocessing.Process(target=compute_sin, args=(queue, x)),multiprocessing.Process(target=compute_cos, args=(queue, x)),multiprocessing.Process(target=compute_tan, args=(queue, x)),multiprocessing.Process(target=compute_exp, args=(queue, x))]# 启动所有进程for p in processes:p.start()# 等待所有进程完成for p in processes:p.join()# 从队列中获取所有结果,存入字典resultsresults = {}while not queue.empty():key, value = queue.get()results[key] = value# 使用matplotlib进行绘图plt.figure(figsize=(10, 6))if results:for key, value in results.items():plt.plot(x, value, label=key)plt.title('Various Mathematical Functions')plt.xlabel('x')plt.ylabel('f(x)')plt.ylim(-5, 5)  # 设置y轴的显示范围plt.legend()plt.show()else:print("No data to plot.")

图片


以上内容总结自网络,如有帮助欢迎转发,我们下次再见!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/857979.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vision Pro的3D跟踪能力:B端应用的工作流、使用教程和经验总结

Vision Pro的最新3D跟踪能力为工业、文博、营销等多个B端领域带来了革命性的交互体验。本文将详细介绍这一功能的工作流、使用教程,并结合实际经验进行总结。 第一部分:工作流详解 一、对象扫描 使用Reality Composer iPhone应用程序对目标对象进行3D扫描,如吉他或雕塑,…

Web Workers

Web Workers Web Workers 是一种HTML5技术,它允许网页在后台线程中运行脚本,从而实现了浏览器的并发处理能力,使得计算密集型任务可以在用户界面保持响应的同时执行,不会阻塞主线程。这有助于提高网页性能,特别是对于…

【动态规划】1130. 叶值的最小代价生成树

1130. 叶值的最小代价生成树 难度:中等 力扣地址:https://leetcode.cn/problems/minimum-cost-tree-from-leaf-values/description/ 题目内容 给你一个正整数数组 arr,考虑所有满足以下条件的二叉树: 每个节点都有 0 个或是 2 个…

全世界都在劝退学Android的程序员

上面这些原因导致一度出现三百六十行,行行转IT的盛况。 城里的人想出来 我记得我在逛某乎的时候,有几个问题经常上热榜: “Android开发凉了吗?” “程序员的出路在哪里?” “感觉中国的程序员前途一片灰暗&#xff0…

[信号与系统]IIR滤波器与FIR滤波器的表达、性质以及一些分析

前言 阅读本文需要阅读一些前置知识 [信号与系统]傅里叶变换、卷积定理、和为什么时域的卷积等于频域相乘。 [信号与系统]有关滤波器的一些知识背景 [信号与系统]关于LTI系统的转换方程、拉普拉斯变换和z变换 [信号与系统]关于双线性变换 IIR滤波器的数学表达式 IIR&…

Pip换源详解

Pip换源是指将pip(Python的包管理工具)的默认源更改为其他源。以下是关于Pip换源的详细说明: 一、Pip换源的原因 访问被阻止的源:在某些地区或网络环境下,直接访问官方的Python Package Index (PyPI) 可能受到限制或…

电子SOP实施(MQTT协议)

架构图 服务与程序 用docker启动mqtt broker(服务器) 访问:http://192.168.88.173:18083/#/dashboard/overview 用户名:admin 密码:*** 消息发布者(查找sop的url地址,发布出去) 修改url,重新发布消息 import ran…

Claude 3.5 Sonnet已经上线,Claude 3.5 Opus即将上线

https://docs.anthropic.com/en/docs/about-claude/models 人工智能学习网站 https://chat.xutongbao.top/

Python基础——字符串常见用法:切片、去空格、替换、拼接

文章目录 专栏导读1、拼接字符串2、获取字符串长度3、字符串切片4、字符串替换:5、字符串分割6、字符串查找7、字符串大小写转换8、字符串去除空白9、字符串格式化:10、字符串编码与解码:11、字符串判断12、字符串填充与对齐总结 专栏导读 &a…

高性能并行计算华为云实验四:快排算法实验

目录 一、实验目的 二、实验说明 三、实验过程 3.1 创建快排算法源码 3.2 makefile的创建与编译 3.3 主机文件配置与运行监测 四、实验结果与分析 4.1 结果一及分析 4.2 结果二及分析 五、实验思考与总结 5.1 实验思考 5.2 实验总结 END~ 一、实验目的…

移动端 UI 风格,诠释精致

移动端 UI 风格,诠释精致

C++跨平台socket编程

C跨平台socket编程 一、概述1.1 TCP协议1.1 TCP 的主要特性1.2 TCP报文格式 UDP报文格式IP协议使用windows编辑工具直接编辑Linux上代码 二、系统socket库1.windows上加载socket库2.创建socket2.1 windows下2.2 linux下 3.网络字节序4.bind端口5.listen监听并设置最大连接数6.a…

什么是投保人豁免,第二投保人,什么是ROI和IRR

投保人豁免通常是指在保险合同中,如果投保人因意外伤害或疾病导致身故或全残,保险公司将免除后续的保险费用,而被保险人的保险合同仍然有效。这意味着,如果投保人因意外身故,保险公司将不再收取保费,但被保…

css布局之flex应用

/*父 100*/.parent-div {/* 这里添加你想要的属性 */display: flex;flex-direction: row; //行justify-content: space-between; //左右对齐align-items: center;flex-wrap: wrap; //换行}/*中 90 10 */.middle-div {/* 这里添加你想要的属性 */display: flex;flex-direction:…

Redis 入门篇

文章目录 Redis简介关系型数据库:非关系型数据库 Redis应用场景Redis下载和安装Redis 数据类型Redis 常用命令字符串 string 操作命令哈希 hash 操作命令列表 list 操作命令集合 set 操作命令有序集合 sorted set 操作命令通用命令 Jedis 快速入门配置依赖建立连接 / 操作 Jedi…

【物联网】802.15.4简介

目录 一、概述 二、802.15.4主要特点 2.1 工作频段和数据速率 2.2 支持简单器件 2.3 信标方式和超帧结构 2.4 数据传输和低功耗 三、低功耗 一、概述 802.15.4包括用于低速无线个人域网(LR-WPAN)的物理层和媒体接入控制层两个规范。它能支持消耗功率最少,一般…

使用python下载图片且批量将图片插入word文档

最近有一个小的功能实现,从小某书上下载指定帖子的图片们,然后批量插入到word文档中,便于打印。于是有了以上需求。 一、下载图片 1、首先获取图片们的链接img_urls 首先,获取到的指定帖子的所有信息可以存入一个json文件中&am…

NeRF从入门到放弃4: NeuRAD-针对自动驾驶场景的优化

NeuRAD: Neural Rendering for Autonomous Driving 非常值得学习的一篇文章,几乎把自动驾驶场景下所有的优化都加上了,并且也开源了。 和Unisim做了对比,指出Unisim使用lidar指导采样的问题是lidar的垂直FOV有限,高处的东西打不…

深入源码设计!Vue3.js核心API——Computed实现原理

如果您觉得这篇文章有帮助的话!给个点赞和评论支持下吧,感谢~ 作者:前端小王hs 阿里云社区博客专家/清华大学出版社签约作者/csdn百万访问前端博主/B站千粉前端up主 此篇文章是博主于2022年学习《Vue.js设计与实现》时的笔记整理而来 书籍&a…

华为HCIP Datacom H12-821 卷5

1.单选题 下列哪种工具不能被 route-policy 的 apply 子句直接引用? A、IP-Prefix B、tag C、community D、origin 正确答案: A 解析: 因route-policy工具中, apply 后面跟的是路由的相关属性。 但是ip-prefix是用来匹配路由的工具。 2.单选题