python手动回收内存哪家好_谈谈如何手动释放Python的内存

在上篇博客中,提到了对一个脚本进行的多次优化。当时以为已经优化得差不多了,但是当测试人员测试时,我才发现,踩到了Python的一个大坑。

在上文的优化中,对每500个用户,会进行一些计算并记录结果在磁盘文件中。原本以为这么做,这些结果就在磁盘文件中了,而不会再继续占用内存;但实际上,Python的大坑就是Python不会自动清理这些内存。这是由其本身实现决定的。具体原因网上多有文章介绍,这里就不copy了。

本篇博客将贴一个笔者的实验脚本,用以说明Python确实存在这么一个不释放内存的现象,另外也提出一个解决方案,即:先del,再显式调用gc.collect(). 脚本和具体效果见下。

实验环境一:Win 7, Python 2.7

from time import sleep, time

import gc

def mem(way=1):

print time()

for i in range(10000000):

if way == 1:

pass

else: # way 2, 3

del i

print time()

if way == 1 or way == 2:

pass

else: # way 3

gc.collect()

print time()

if __name__ == "__main__":

print "Test way 1: just pass"

mem(way=1)

sleep(20)

print "Test way 2: just del"

mem(way=2)

sleep(20)

print "Test way 3: del, and then gc.collect()"

mem(way=3)

sleep(20)

运行结果如下:

Test way 1: just pass

1426688589.47

1426688590.25

1426688590.25

Test way 2: just del

1426688610.25

1426688611.05

1426688611.05

Test way 3: del, and then gc.collect()

1426688631.05

1426688631.85

1426688631.95

对于way 1和way 2,结果是完全一样的,程序内存消耗峰值是326772KB,在sleep 20秒时,内存实时消耗是244820KB;

对于way 3,程序内存消耗峰值同上,但是sleep时内存实时消耗就只有6336KB了。

实验环境二: Ubuntu 14.10, Python 2.7.3

运行结果:

Test way 1: just pass

1426689577.46

1426689579.41

1426689579.41

Test way 2: just del

1426689599.43

1426689601.1

1426689601.1

Test way 3: del, and then gc.collect()

1426689621.12

1426689622.8

1426689623.11

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html

ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py

ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html

ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py

ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See http://procps.sf.net/faq.html

ubuntu 9122 11.6 0.1 30956 5608 pts/1 S+ 14:39 0:05 python test_mem.py

结论:

以上说明,当调用del时,其实Python并不会真正release内存,而是将其继续放在其内存池中;只有在显式调用gc.collect()时,才会真正release内存。

进一步:

其实回到上一篇博客的脚本中,也让其引入gc.collect(),然后写个监控脚本监测内存消耗情况:

while ((1)); do ps -aux | sort -n -k5,6 | grep my_script; free; sleep 5; done

结果发现:内存并不会在每500个用户一组执行完后恢复,而是一直持续消耗到仅存约70MB时,gc才好像起作用。本环境中,机器使用的是Cloud instance,总内存2G,可用内存约为1G,本脚本内存常用消耗是900M - 1G。换句话说,对于这个脚本来说,gc并没有立即起作用,而是在系统可用内存从1 - 1.2G下降到只剩70M左右时,gc才开始发挥作用。这点确实比较奇怪,不知道和该脚本是在Thread中使用的gc.collect()是否有关,或者是gc发挥作用原本就不是可控的。笔者尚未做相关实验,可能在下篇博客中继续探讨。

但是,可以肯定的是,若不使用gc.collect(), 原脚本将会将系统内存耗尽而被杀死。这一点从syslog中可以明显看出。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持找一找教程网。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/436320.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

串口通讯编程一日通3(COMMTIMEOUTS DCB整理)

上一篇看了Overlapped IO模型后,接下来看剩下两个重要结构: 2.COMMTIMEOUTS结构 超时设置 COMMTIMEOUTS:COMMTIMEOUTS主要用于串口超时参数设置。COMMTIMEOUTS结构如下: typedef struct _COMMTIMEOUTS { D…

【转】ITK和VTK比较

概念比较安装步骤遇到的问题 转自:https://blog.csdn.net/qq_34690929/article/details/78146523 概念比较 基本概念ITK(Insight Segmentation and Registration Toolkit)VTK(visualization toolkit)作用一款医学图像…

用Linq转换数据

Linq的好处不用多说。由于它能Linq TO XXX,所以用它进行XXX数据类型之间的转换也是非常惬意的事情。 转载于:https://www.cnblogs.com/think/archive/2007/10/26/Linq1.html

进程控制1--fork vfork函数

linux系统调用fork()创建一个和当前进程完全相同的拷贝进程,其中父进程和子进程的代码段,堆栈段,数据段均独立 进程必须的4要点: a.要有一段程序供该进程运行 b.进程专用的系统堆栈空间。 c.进程控制块,在linux中具体实…

eveningplan

熨衣服预习c#写三分钟演讲稿收拾房间 转载于:https://www.cnblogs.com/loverain/archive/2007/11/12/957136.html

【转】我的CV之路第一篇:ITK是啥?

Itk篇 (Insight Segmentation and Registration Toolkit)ITK Itk篇前言一、ITK是什么?二、一些函数 1.读/写图片2.滤波器 前言 学习医疗图像分割过程中,遇到了很多困难,英文文献,数学基础,图像…

mysql slowlog中querytime分析_技术分享 | Slow Query Log 使用详解

作者:宓祥康爱可生交付服务部团队 DBA 擅长日志分析、问题排查等;主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题,对数据库及周边技术有浓厚的学习兴趣。本文来源:原创投稿爱可生开源社区出品&#xff0c…

进程控制2--exec族

系统调用exe函数族对当前进程进行替换&#xff0c;替换着为一个指定程序&#xff0c;其参数包括文件名filename&#xff0c;参数列表argv&#xff0c;以及环境变量envp 整个函数家族如下&#xff1a; #include <unistd.h> extern char **environ; int execl(const char *…

请问如何让Dundas chart for asp.net控件产生的临时图片文件减少一些?

所属分类&#xff1a;.NET技术 图表区-----------------------------------------在用Dundas chart for asp.net控件生成图表时,每个图表都作为一个图片文件被保存下来了,这样,浏览多了,这些无用的图片文件也多了?请问大家怎么样让它不要产生这么多临时文件? ---------------…

【转】二、VTK用于QT的安装

一、说明 本文的主要目的是在说明通过Cmake重新编译VTK,使得其能够与QT交互使用 二、VTK的安装 VTK版本&#xff1a;8.2.0 VS版本2019 电脑&#xff1a;win-64bit 需要软件&#xff1a;CMake(我使用的版本是3.16.0) 三、过程 大概过程分为以下几个步骤&#xff1a; 1、下载vt…

mysql密码安全级别_Mysql数据库的安全性问题释疑

数据库系统的安全性包括很多方面。由于很多情况下&#xff0c;数据库服务器容许客户机从网络上连接&#xff0c;因此客户机连接的安全对MySQL数据库安全有很重要的影响。不在客户机的命令行上提供密码使用mysql、mysqladmin等客户机用一个用户身份与MySQL服务器连接时&#xff…

SQL中binary 和 varbinary的区别

binary 和 varbinary固定长度 (binary) 的或可变长度 (varbinary) 的 binary 数据类型。binary [ ( n ) ]固定长度的 n 个字节二进制数据。N 必须从 1 到 8,000。存储空间大小为 n4 字节。 varbinary [ ( n ) ]n 个字节变长二进制数据。n 必须从 1 到 8,000。存储空间大小为实际…

【转】一、用于VS2019的QT配置

转自&#xff1a;https://www.cnblogs.com/fantianliang/p/12355973.html 一、前言 本期间的主要目的是最后能够使用VS开发关于QT为界面的程序&#xff0c;同时能够使用VTK和ITK程序&#xff0c;这是第一部分。 因为之前查看的有关博客随着时间没有跟随版本变化&#xff0c;所…

进程控制3--signal

signal信号是一种比较古老的进程控制手段&#xff0c;可以在进程内和进程间传递事件&#xff0c;通常被用来通知进程产生了异常事件 信号全称为软中断信号&#xff0c;也有人称作软中断。从它的命名可以看出&#xff0c;它的实质和使用很象中断。所以&#xff0c;信号可以说是进…

python settings模块导入不了_python settings 中通过字符串导入模块

1. 项目文件结构set_test├─ main.py # 入口函数│├─notify # 自定义的模块│ ├─ email.py # 自定义模块│ ├─ msg.py # 自定义模块│ ├─ wechat.py # 自定义模块│ └─ __init__.py # 模块导入初始化函数│└─set_test # 总配置文件└─ settings.py# 这个项目的架…

IIS 7.0探索用于 Windows Vista 的 Web 服务器和更多内容

我经常听到 Microsoft 内部和外部的人将新的 IIS 7.0 Web 服务器称为 Microsoft 在过去几年中所进行的最重要的开发工作之一。考虑到 Microsoft 最近推出了一系列引人注意的技术&#xff0c;包括 Windows Vista™&#xff0c;这个评语具有重要意义&#xff01; IIS 7.0 的发布时…

【转】三、QT例子-打开一个图片并且显示

一、前言 本博客的主要目的在于对QT有进一步的了解&#xff0c;单纯只使用QT。 今天小例子主要是打开图片&#xff0c;然后显示出来&#xff0c;并且显示图片的路径。 二、工程建立 1、参考前面 博客一QT安装过程里面的例子&#xff0c; 建立一个QT GUI Application 2、打开.u…

学习linux/unix编程方法的建议[转]

首先先学学编辑器&#xff0c;vim, emacs什么的都行。然后学make file文件&#xff0c;只要知道一点就行&#xff0c;这样就可以准备编程序了。 然后看看《C程序设计语言》K&R&#xff0c;这样呢&#xff0c;基本上就可以进行一般的编程了&#xff0c;顺便找本数据结构的书…

PPC(Pocket PC)中显示二进制数组(byte[])类型的图片

//给数组赋值&#xff0c;这里用的是通过WebService返回的二进制数组 byte[] img MyService.GetImg(textBox1.Text); MemoryStream ms new MemoryStream(img); Bitmap bt new Bitmap(ms); pictureBox1.Image Image.FromHbitmap(bt.GetHbitmap()); 转载于:https://www.cnblo…

【转】四、关于如何使用软件库的一个技巧-避免重复配置属性表

一、前言 我们需要使用各种函数库&#xff0c;比如Opencv,Itk, vtk,当不同的函数库使用的时候&#xff0c;在VS配置属性是一个很麻烦的问题&#xff0c;并且设计到不同函数库的交叉使用&#xff0c;所以这里提供一个小技巧。 那就是我们把每一个函数库的配置为属性表的形式&…