什么是GIL锁,有什么作用?python的垃圾回收机制是什么样的?解释为什么计算密集型用多进程,io密集型用多线程。

1 什么是gil锁,有什么作用?
2 python的垃圾回收机制是什么样的?
3 解释为什么计算密集型用多进程,io密集型用多线程。

1 什么是gil锁,有什么作用?

1 GIL:Global Interpreter Lock又称全局解释器锁。本质就是一个互斥锁,
2 保证了cpython进程中得每个线程必须获得这把锁才能执行,不获得不能执行
3 使得在同一进程内任何时刻仅有一个线程在执行
4 gil锁只针对于cpython解释器----》JPythonPyPyCPython***作用:***1 保护Python对象免受多线程并发访问的破坏。2 确保在多线程环境中只有一个线程执行Python字节码。3 GIL的存在使得在CPU密集型任务中,Python的多线程并不能充分发挥多核CPU的优势。因为只有一个线程能够执行字节码,其他线程会被阻塞。***为什么要有gil锁?***python是动态强类型语言,因为有垃圾回收机制,如果同一个进程下有多个线程同时在执行,垃圾回收是垃圾回收线程【同一个进程下变量是共享的】,该线程做垃圾回收时,如果其他线程在运行,就可能会出并发安全的问题【数据安全的问题】,由于当时,只有单核cup【即便开启多线程,同一时刻,也只有一个线程在运行】,作者就强行做了一个GIL锁,保证在一个进程内,同一时刻只有一个线程执行,目的是为了防止垃圾回收线程做垃圾回收时,出现数据紊乱问题,所以加了gil锁**垃圾回收**是垃圾回收线程,它在执行的时候,其他线程是不能执行的,而限于当时的条件,只有单核cpu,所以作者直接做了个GIL锁,保证一个进程内同一时刻只有一个线程在执行。python使用引用计数为主,标记清楚和隔代回收为辅来进行内存管理。所有python脚本中创建的对象,都会配备一个引用计数,来记录有多少个指针来指向它。当对象的引用技术为0时,会自动释放其所占用的内存。假设有2个python线程同时引用一个数据(a=100,引用计数为1),2个线程都会去操作该数据,由于多线程对同一个资源的竞争,实际上引用计数为3,但是由于没有GIL锁,导致引用计数只增加1(引用计数为2)这造成的后果是,当第1个线程结束时,会把引用计数减少为1;当第2个线程结束时,会把引用计数减少为0;当下一个线程再次视图访问这个数据时,就无法找到有效的内存了
import threading# 共享变量
counter = 0def count_up():global counterfor _ in range(1000000):counter += 1def count_down():global counterfor _ in range(1000000):counter -= 1# 创建两个线程分别执行计数操作
t1 = threading.Thread(target=count_up)
t2 = threading.Thread(target=count_down)# 启动线程
t1 .start()
t2.start()# 等待两个线程执行完成
t1 .join()
t2.join()print("Counter:", counter)在上述代码中,我们有两个线程,一个递增 counter,一个递减 counter。
理论上,counter 的最终值应该是 0。但是由于GIL的存在,多线程并发执行时,由于GIL的保护,
实际上可能并不会得到正确的结果。在这个例子中,counter 的最终值可能不是 0,
因为两个线程在修改 counter 时可能会发生竞争条件。

2 python的垃圾回收机制是什么样的?

1 参考文章:https://www.jianshu.com/p/52ab268901142 什么是垃圾回收?编程语言在运行过程中会定义变量--->申请了内存空间---》后期变量不用了---》这个内存空间应该释放掉,有些编程语言,这个操作,需要程序员自己做(c),像java,python,go这些语言,都自带垃圾回收机制,可以自动回收内存空间,gc机制。3 不同语言垃圾回收的方式是不一样的,python是使用如下三种方式做gc,以引用计数为主,标记-清除和分代回收两个算法为辅(1)引用计数算法(reference counting):每个对象都有一个引用次数的计数属性,如果对象被引用了,那这个数就会 加1,如果引用被删除,引用计数就会 减1,那么当该对象的引用计数为0时,就说明这个对象没有被使用,垃圾回收线程就会把它回收掉,释放内存。-有问题:循环引用问题---》回收不了(2) 标记-清除算法(Mark and Sweep)-解决引用计数无法回收循环引用的问题对象之间通过引用连在一起,节点就是各个对象,从一个根对象向下找对象,可以到达的标记为活动对象,不能到达的是非活动对象,而非活动对象就是需要被清除的。(3) 分代回收算法(Generational garbage collector)-分代回收是解决垃圾回收效率问题算法原理是Python把对象的生命周期分为三代,分别是第0代、第1代、第2代。每一代使用双向链表来标记这些对象。每一代链表都有总数阈值,当达到阈值的时候就会出发GC回收,将需要清除的清除掉,不需要清除的移到下一代。以此类推,第2代中的对象存活周期最长的对象。注意:python垃圾回收最核心是:引用计数----》标记清除解决引用计数的循环引用问题---》分代回收解决垃圾回收的效率问题。

import gc# 创建一个循环引用的对象
class CircularReference:def __init__(self):self.circular_ref = None# 创建循环引用
obj1 = CircularReference()
obj2 = CircularReference()
obj1.circular_ref = obj2
obj2.circular_ref = obj1# 手动断开引用,使引用计数变为零
obj1 = None
obj2 = None# 手动触发垃圾回收
gc.collect()# 由于循环引用,垃圾回收器会将它们回收
print(gc.garbage)在上述代码中,`CircularReference` 类创建了两个对象 `obj1` 和 `obj2`,
它们相互引用形成了循环引用。当手动断开对 `obj1` 和 `obj2` 的引用后,手动调用 `gc.collect()` 
来触发垃圾回收。垃圾回收器会检测到这个循环引用并将其回收。回收后,`gc.garbage` 列表中将包含被
回收的对象,我们可以通过查看这个列表来确认回收是否成功。

3 解释为什么计算密集型用多进程,io密集型用多线程。

计算是消耗cpu的:代码执行,算术,for都是计算
io不消耗cpu:打开文件,写入文件,网络操作都是io-如果遇到io,该线程会释放cpu的执行权限,cpu转而去执行别的线程由于python有GIL锁,开启多条线程,同一时刻,只能有一条线程在执行。
如果是***计算密集型***开了多线程,同一时刻,只有一个线程在执行,多核cpu,就会浪费多核优势;
如果是计算密集型,我们希望多个核(cpu),都干活,同一个进程下绕不过gil锁。所以我们开启多进程,
gil锁只能锁住某个进程中的线程,开启多个进程,就能利用多核优势。***io密集型***只要遇到io,就会释放cpu执行权限,进程内开了多个io线程,线程多半都在等待,
开启多进程是不能提高效率的,反而开启进程很耗费资源,所以使用多线程即可。计算密集型任务主要是由CPU计算驱动,对CPU的利用率要求较高。
I/O密集型任务主要是由I/O操作驱动,对CPU的利用率较低。

计算密集型任务使用多进程

import multiprocessingdef calculate_square(numbers):result = []for number in numbers:result.append(number * number)print("Result (in process):", result)if __name__ == "__main__":numbers = list(range(1, 6))# 使用多进程process = multiprocessing.Process(target=calculate_square, args=(numbers,))process.start()process.join()print("Main process continues...")

I/O密集型任务使用多线程

import threading
import timedef simulate_io_operation():print("Start I/O operation...")time.sleep(2)  # 模拟I/O操作,比如文件读写或网络请求print("I/O operation completed.")if __name__ == "__main__":# 使用多线程t1= threading.Thread(target=simulate_io_operation)t2= threading.Thread(target=simulate_io_operation)t1.start()t2.start()t1.join()t2.join()print("Main thread continues...")

在这两个例子中,计算密集型任务使用了多进程,而I/O密集型任务使用了多线程。这是因为计算密集型任务中的 GIL 限制了多线程的效果,而I/O密集型任务中可以充分利用多线程的并发性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/143176.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于安卓android微信小程序的食谱大全系统

项目介绍 本文以实际运用为开发背景,运用软件工程原理和开发方法,它主要是采用java语言技术和mysql数据库来完成对系统的设计。整个开发过程首先对食谱大全进行需求分析,得出食谱大全主要功能。接着对食谱大全进行总体设计和详细设计。总体设…

源码升级gcc

wget https://ftp.gnu.org/gnu/gcc/gcc-8.1.0/gcc-8.1.0.tar.gztar -xzf gcc-8.1.0.tar.gzcd gcc-8.1.0/打开/contrib/download_prerequisites,查看依赖的库 wget http://mirror.linux-ia64.org/gnu/gcc/infrastructure/mpfr-3.1.4.tar.bz2 & wget http://mir…

实现高值医疗耗材智能化管理的RFID医疗柜解决方案

一、行业背景 医疗物资管理面临着一系列问题,如高值耗材种类激增导致准入标准弱化、信息追踪困难、管理责任不明确等,医院内部设备、财务和临床科室相互独立,兼容性不佳,高值耗材储备不足,缺乏合理的预警机制&#xf…

Java 21:最新特性、性能改进和语言发展

文章目录 模式匹配和模式变量新的记录类型生产者接口本地类型推断的扩展新的垃圾收集器动态CDS档案G1垃圾收集器的增强Java语言的持续发展性能改进和JEPJava 21的部署和使用Java 21的生态系统结语 🎉欢迎来到Java学习路线专栏~Java 21:最新特性、性能改进…

Postman接口Mock Servier服务器

近期在复习Postman的基础知识,在小破站上跟着百里老师系统复习了一遍,也做了一些笔记,希望可以给大家一点点启发。 应用场景:后端的接口还没有开发完成,前端的业务需要调用后端的接口,可以使用mock模拟。 一…

Android高级实践分享

以下是我学习过程中,觉得比较好的Android进阶高级实践,分享给大家,可能有些东西差异化比较大了,但是我也想经过这些实践,踩踩坑。等我搞完,给大家出一下实践教程 Android进阶之旅: https://ww…

终于有人把VMware虚拟机三种网络模式讲清楚了!

前段时间VMware更新了,你用上最新版了吗? 有几个网工在操作中遇到过各种各样的问题。 比如说由于公司服务器重启导致出现下面的问题:在Xshell里连接虚拟机映射时连接失败;能够连接上虚拟机的映射地址,但git pull时报…

电子电机行业万界星空科技MES解决方案

现在电子电机行业规模越来越大,也伴随着生产和管理成本走向变高的现象。针对这个问题,mes系统就成为各电子电机制造业的最优选择。 电子机电行业MES涵盖了从原材料采购到最终产品交付的整个过程,包括生产计划、物料管理、生产过程监控、质量…

CleanMyMac X“断网激活”真的可以吗?

CleanMyMac X帮助Mac系统进行垃圾清理,清除多余的缓存、应用程序等,在提高工作效率上起了很大的作用。但是随着对软件的需求不断增加,很多人开始研究通过捷径破解正版软件,但是是否能成功呢?今天小编就为大家揭开“断网…

【常见SQL报错及解决办法】个人记录,自用

ORA-00942: 表或视图不存在 现象:明明已经新建了视图,并提交了,直接查询的时候还是报了这个错 解决:视图名那加双引号,与建立的时候保持一致 --SELECT * FROM VIEW_NAME 报错,需要加双引号 SELECT * FR…

7-爬虫-中间件和下载中间件(加代理,加请求头,加cookie)、scrapy集成selenium、源码去重规则(布隆过滤器)、分布式爬虫

0 持久化(pipelines.py)使用步骤 1 爬虫中间件和下载中间件 1.1 爬虫中间件(一般不用) 1.2 下载中间件(代理,加请求头,加cookie) 1.2.1 加请求头(加到请求对象中) 1.2.2 加cookie 1.2.3 加代理 2 scrapy集成selenium 3 源码去重…

C++ 动态规划 DP教程 (一)思考过程(*/ω\*)

动态规划是一种思维方法,大家首先要做的就是接受这种思维方法,认同他,然后再去运用它解决新问题。 动态规划是用递推的思路去解决问题。 首先确定问题做一件什么事情? 对这件事情分步完成,分成很多步。 如果我们把整件…

【SpringBoot】序列化和反序列化介绍

一、认识序列化和反序列化 Serialization(序列化)是一种将对象以一连串的字节描述的过程;deserialization(反序列化)是一种将这些字节重建成一个对象的过程。将程序中的对象,放入文件中保存就是序列化&…

回顾 — SFA:简化快速 AlexNet(模糊分类)

模糊图像的样本 一、说明 在本文回顾了基于深度学习的模糊图像分类(SFA)。在本文中:Simplified-Fast-AlexNet (SFA)旨在对图像是否因散焦模糊、高斯模糊、雾霾模糊或运动模糊而模糊进行分类。 二、大纲 图像模糊建模简要概述简化快速 AlexNet…

vscode 快速打印console.log

第一步 输入这些 {// Print Selected Variabl 为自定义快捷键中需要使用的name,可以自行修改"Print Selected Variable": {"body": ["\nconsole.log("," %c $CLIPBOARD: ,"," background-color: #3756d4; padding:…

action3录制出来的LRF文件的正确打开方式

你会发现使用大疆的产品录制出来的视频会有两种格式:LRF和MP4 这个LRF文件是低分辨率、低码率的预览文件,非常适合预览。 这个文件可以直接通过修改文件后缀转化为.mp4格式

【R Error系列】r - fatal error : RcppEigen. h:没有这样的文件或目录

在头文件那要有 // [[Rcpp::depends(RcppEigen)]] 即&#xff1a; #include <Rcpp.h> #include <RcppEigen.h> using namespace Rcpp; using namespace Eigen;// [[Rcpp::depends(RcppEigen)]] // [[Rcpp::export]] 参考&#xff1a; r - fatal error: RcppEi…

14——1

这句话的意思是&#xff0c;如图中月份12天数23时&#xff0c;就是1223&#xff1b;当月份9天数2时&#xff0c;就是0902. 可以看到在上面给出的数组元素中&#xff0c;并没有连续挨在一起的2023数字元素——就有人可能输出答案0。 所以这里要看一下—— ——子序列的含义&…

云服务器如何选?腾讯云2核2G3M云服务器88元一年!

作为一名程序员&#xff0c;在选择云服务器时&#xff0c;我们需要关注几个要点&#xff1a;网络稳定性、价格以及云服务商的规模。这些要素将直接影响到我们的使用体验和成本效益。接下来&#xff0c;我将为大家推荐一款性价比较高的轻应用云服务器。 腾讯云双11活动 腾讯云…