Python进程与线程的深度对比

一、核心概念对比

1. 进程(Process)

  • 操作系统级独立单元:每个进程拥有独立的内存空间(堆、栈、代码段)

  • 资源隔离性:崩溃不影响其他进程

  • 多核并行:可充分利用多核CPU资源

2. 线程(Thread)

  • 进程内的执行单元:共享同一进程的内存空间

  • 轻量级并发:创建/切换成本低于进程

  • GIL限制:受Python全局解释器锁制约


二、关键技术差异对比表
对比维度进程线程
创建开销高(需复制内存空间)低(共享现有内存)
数据共享IPC机制(队列/管道)直接共享全局变量
上下文切换成本高(涉及内存切换)低(仅寄存器切换)
GIL影响可绕过GIL实现真并行受GIL限制伪并发
适用场景CPU密集型任务I/O密集型任务
异常影响范围进程间隔离导致整个进程终止

三、Python实现机制解析

1. 多进程(multiprocessing模块)

from multiprocessing import Process
import os
def task():print(f'子进程PID: {os.getpid()}')
if __name__ == '__main__':p = Process(target=task)p.start()p.join()
  • 特点:跨平台实现,支持进程池

  • 内存消耗:约10MB+(取决于初始化状态)

2. 多线程(threading模块)

import threading
def task():print(f'当前线程: {threading.get_ident()}')
t = threading.Thread(target=task)
t.start()
  • 特点:GIL导致并发瓶颈

  • 内存消耗:约1MB级


四、性能对比实验(计算密集型任务)
# 测试代码片段
def heavy_calculation():sum(range(10**7))
# 多进程用时:2.1秒(4核)
# 多线程用时:8.3秒(伪并发)

五、最佳实践指南
  1. 优先选择进程的场景
  • 矩阵运算/机器学习训练

  • 大规模数值计算

  • 需要内存隔离的任务

  1. 优先选择线程的场景
  • Web请求处理

  • 文件读写操作

  • GUI应用保持响应

  1. 混合使用策略
   from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor# CPU密集型使用进程池with ProcessPoolExecutor() as proc_pool:proc_pool.map(cpu_task, data)# I/O密集型使用线程池with ThreadPoolExecutor() as thread_pool:thread_pool.map(io_task, urls)

六、进阶注意事项
  1. 进程间通信成本
  • 队列数据需要pickle序列化

  • 共享内存(Value/Array)的使用技巧

  1. 线程安全陷阱
  • Lock/RLock对共享资源的保护

  • 避免死锁的上下文管理器用法

  1. 调试技巧
  • 使用top命令监控进程资源

  • threading.enumerate()查看活动线程


七、总结决策树
是否需要真并行? → 是 → 使用多进程↓否
是否涉及I/O等待? → 是 → 使用多线程↓否
考虑协程(asyncio)

通过理解这些核心差异,可以更精准地根据任务特性选择并发方案,充分发挥Python的并发编程潜力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/79899.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django 入门指南:构建强大的 Web 应用程序

什么是 Django? Django 是一个开源的高层次 Python Web 框架,旨在快速开发安全且可维护的网站。它通过简化常见的 Web 开发任务,帮助开发者专注于开发应用的核心功能。Django 实现了“快速开发”和“尽量少的重复”的理念,提供了…

ESP-ADF外设子系统深度解析:esp_peripherals组件架构与核心设计(显示输出类外设之IS31FL3216)

目录 ESP-ADF外设子系统深度解析:esp_peripherals组件架构与核心设计(显示输出类外设之IS31FL3216)简介模块概述功能定义架构位置核心特性 IS31FL3216外设分析IS31FL3216外设概述IS31FL3216外设层次架构图 IS31FL3216外设API和数据结构外设层…

【计算机网络 | 第三篇】常见的网络协议(二)

没有看过我写的关于网络协议的第一篇博客可以看【计算机网络 | 第二篇】常见的通信协议(一)-CSDN博客 TCP的三次握手和四次挥手 TCP三次握手 三次握手是TCP协议建立可靠连接的过程,目的是确保客户端和服务端双方的双向通信能力正常&#x…

HAL库(STM32CubeMX)——高级ADC学习、HRTIM(STM32G474RBT6)

系列文章目录 文章目录 系列文章目录前言存在的问题HRTIMcubemx配置前言 对cubemx的ADC的设置进行补充 ADCs_Common_Settings Mode:ADC 模式 Independent mod 独立 ADC 模式,当使用一个 ADC 时是独立模式,使用两个 ADC 时是双模式,在双模式下还有很多细分模式可选 ADC_Se…

Unity接入安卓SDK(3)厘清Gradle的版本

接入过程中,很多人遇到gradle的各种错误,由于对各种gradle版本的概念不甚了了,模模糊糊一顿操作猛如虎,糊弄的能编译通过就万事大吉,下次再遇到又是一脸懵逼。所以我们还是一起先厘清gradle的版本概念。 1 明晰概念 …

python-67-基于plotly的绘图可视化和智能推荐图表

文章目录 1 各种图表的适用场景1.1 面积图1.2 饼图1.3 散点图1.3.1 散点1.3.2 散点加线1.4 折线图1.5 箱线图1.5.1 不同类别的箱线图1.5.2 一个变量的箱线图1.5.3 多个变量的箱线图1.6 小提琴图1.6.1 不同类别的小提琴图1.6.2 一个变量的小提琴图1.7 直方图1.7.1 直方图1.7.2 分…

Spring AI MCP

MCP是什么 MCP是模型上下文协议(Model Context Protocol)的简称,是一个开源协议,由Anthropic(Claude开发公司)开发,旨在让大型语言模型(LLM)能够以标准化的方式连接到外…

c++_csp-j算法 (3)

弗洛伊德算法(Floyd) Floyd算法又称为插点法,是一种利用动态规划的思想寻找给定的加权图中多源点之间最短路径的算法,与Dijkstra算法类似。该算法名称以创始人之一、1978年图灵奖获得者、斯坦福大学计算机科学系教授罗伯特弗洛伊…

QT常见输入类控件及其属性

Line Edit QLineEdit用来表示单行输入框,可以输入一段文本,但是不能换行 核心属性: 核心信号 信号 说明 void cursorPositionChanged(int old,int new) 当鼠标移动时发出此型号,old为先前位置,new为新位置 void …

【k8s系列1】一主两从结构的环境准备

环境准备 虚拟机软件准备及安装,这里就不详细展开了,可以看文章:【一、虚拟机vmware安装】 linux环境准备及下载,下载镜像centOS7.9,以前也有写过这个步骤的文章,可以看:【二、安装centOS】 开始进入正题…

【C++类和数据抽象】类的作用域

目录 一、类的作用域基本概念 1.1 什么是类的作用域 1.2 作用域层次体系 1.3 类作用域的特点 1.4 基本访问规则 二、访问控制三剑客 2.1 public:开放接口 2.2 private:数据封装 2.3 protected:继承通道 2.4 跨作用域访问示例 三…

opencv图片颜色识别,颜色的替换

图片颜色识别 1. RGB颜色空间2. 颜色加法2.1使用numpy对图像进行加法2.2使用opencv加法(cv2.add) 3 颜色加权加法(cv2.addWeighted())4. HSV颜色空间5. 制作掩膜4. 与运算(cv2.bitwise_and)5.颜色的替换7 R…

ADC数据不稳定的解决方案

问题如图: 解决方案:上图第一个通道后来接入GND,就稳定了 上图第一个通道后来接入VCC,就稳定了

Spark(18)Yarn-概述

Hadoop三大核心组件:HDFS、MapReduce和YARN 一)Yarn的概念 YARN(Yet Another Resource Negotiator,另一种资源协调者)是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率,资源统一管…

Flowith AI,解锁下一代「知识交易市场」

前言 最近几周自媒体号都在疯狂推Manus,看了几篇测评后,突然在某个时间节点,在特工的文章下,发现了很小众的Flowith。 被这段评论给心动到,于是先去注册了下账号。一翻探索过后,发现比我想象中要有趣的多&…

Maxscript调用Newtonsoft.Json解析Json

Maxscript调用Newtonsoft.Json解析Json_newtonsoft.json maxscript-CSDN博客

搭建用友U9Cloud ERP及UAP IDE环境

应用环境 Microsoft Windows 10.0.19045.5487 x64 专业工作站版 22H2Internet Information Services - 10.0.19041.4522Microsoft SQL Server 2019 - 15.0.2130.3 (X64)Microsoft SQL Server Reporing Services 2019 - 15.0.9218.715SQL Server Management Studio -18.6 laster…

github新建一个远程仓库并添加了README.md,本地git仓库无法push

1.本地git仓库与远程仓库绑定 2.push时报错,本地的 main 分支落后于远程仓库的 main 分支(即远程有更新,但你本地没有),需要拉取远程的仓库--->在merge合并(解决冲突)--->push 3.但是git …

我用deepseek做了一个提取压缩文件夹下pdf和word文件工具

由于最近需要把大量的压缩文件的pdf和word文件统一复制到一个文件夹中。 我们一般正常操作方式的是把一个压缩文件一个一个解压,然后在把一个的解压好的文件夹下文件复制到另外一个文件夹中。 这个也需太繁琐了,从以往统计的需要花费两个小时间&#x…

企业网络安全合规风险高、运营不稳定,要怎么解决?

在数字化浪潮中,数据已然成为企业的核心资产,其重要性不言而喻。然而,数据泄露风险也时刻威胁着企业的生存与发展。不少企业在历经数据泄露的惨痛教训后,纷纷选择部署数据防泄露系统。那么,企业部署数据防泄露系统前后…