分享一个辅助分析内存泄漏的脚本

  最近给系统做了一点优化,前几天去查看系统监控,想看看上线前后cpu使用率曲线变化情况。查看的时候意外发现上线前后内存占用相差不少,20%以上。

本来我没怎么在意这个问题,因为我们系统会在运行过程中缓存部分数据内容。但客户觉得有异常,坚持要查。于是把一个月的内存使用情况调出来看,这一看就发现问题了:

  系统内存占用确实是在缓慢增加,一两天的内存使用率曲线看不出什么,但一个月的可以明显看出来,是一条斜率很小的直线。

  发现了有内存泄漏,但是想具体分析是哪个进程泄漏的还真不好办。因为我们系统有上千个进程在跑,而监控系统又只记录了总体内存占用情况,没记录单个进程内存占用。

  没有枪,没有炮,只能自己来造 :) 。 我设计了一个简单的分析方法:

  1 首先,我写一个脚本,每天定期记录系统所有进程使用情况,保存到文件,以时间戳命名。(用ps实现)

  2 脚本跑几天后,我再使用另一个脚本,把文件合并起来分析,把每个进程在不同时间点的内存使用情况合并成一行,逐个进程输出

  3 比较每个进程第一次出现与最后一次出现时占用内存之差,按从小到大排序,即可得出可能存在内存泄漏的程序。

  效果如下:可以看出这个进程内存占用一直在增加,从第一次统计到最后一次统计之间内存使用增加了1460k

  知道问题后就好办了,使用valgrind+gdb很快就找出导致内存泄漏的代码,纠正即可。

 

  下面是分析过程中用到的脚本,希望对大家有帮助

 1 # 20190228 hch 辅助分析程序内存泄漏情况的脚本
 2 # 设计思路:首先用ps定期采集所有程序占用内存情况,生成多个文件。然后使用awk分析ps输出的文件,把相同进程占用的内存合并成一行输出
 3 # 计算进程第一次和最后一次出现的时间点占用内存之差,逆序输出即可获得疑似内存泄漏的程序
 4 
 5 # 首先使用以下脚本采集程序每一分钟内存占用信息,采集若干分钟
 6 # while [ 1 ]; do ps -eo 'pid,comm,rsz,vsz,user,comm,args,pcpu,pmem' --sort rsz > ps_info_$(date "+%Y%m%d%H%M%S").txt ; sleep 60; done
 7 
 8 # 使用awk脚本分析内存占用信息 把进程每一个时间点的内存占用情况合并成一行方便对比
 9 # 并且统计进程第一次出现和最后一次出现占用内存差,输出
10 awk '{
11     # 每次处理一个新文件时需要特殊处理一下 
12     if (FNR == 1) {
13         # 登记文件名称
14         v_all_file_name = v_all_file_name "," FILENAME;
15         v_prefix_str = v_prefix_str ",";
16         ++v_file_cnt;
17         
18         # 把上次文件没有出现的pid补上
19         if (NR != 1) { # FNR == 1 && NR == 1 代表第一个文件
20             for (v_pid_name in v_mp_pid_cnt) {
21                 if (v_mp_pid_cnt[v_pid_name] != v_file_cnt - 1) {
22                     v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] ","
23                     v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] ","
24                     v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
25                 }
26             }
27         }
28     }
29     
30     v_pid_name = $2 "-" $1 "-" $5; #程序名-进程号-用户名
31     # 非第一个文件,第一次出现,需要补齐","
32     if (v_file_cnt != 1 && v_mp_pid_cnt[v_pid_name] == 0) {
33         v_mp_pid_rsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] = substr(v_prefix_str, 1, v_file_cnt - 1);
34         v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
35     }
36     
37     # rsz是物理内存 单位k
38     v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] "," $3
39     # 记录最后值和初始值 方便后面分析(有需要可以改成最大和最小值)
40     #if ($3 > v_mp_pid_rsz_max[v_pid_name]) v_mp_pid_rsz_max[v_pid_name] = $3;
41     v_mp_pid_rsz_max[v_pid_name] = $3;
42     if (v_mp_pid_rsz_min[v_pid_name] == 0 ) # || $3 < v_mp_pid_rsz_min[v_pid_name]
43         v_mp_pid_rsz_min[v_pid_name] = $3;
44     
45     # vsz是虚存 单位k
46     v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] "," $4
47     v_mp_pid_vsz_max[v_pid_name] = $4;
48     if (v_mp_pid_vsz_min[v_pid_name] == 0 ) # || $4 < v_mp_pid_rsz_min[v_pid_name]
49         v_mp_pid_vsz_min[v_pid_name] = $4;
50         
51     # 在本文件出现过就标记一下,后面文件处理完后才知道哪些进程没出现
52     v_mp_pid_cnt[v_pid_name] = v_file_cnt;
53 }
54 END {
55     print v_all_file_name
56     for (v_pid_name in v_mp_pid_rsz) {
57         print "rsz:"v_pid_name, v_mp_pid_rsz_max[v_pid_name] - v_mp_pid_rsz_min[v_pid_name], v_mp_pid_rsz[v_pid_name]
58         print "vsz:"v_pid_name, v_mp_pid_vsz_max[v_pid_name] - v_mp_pid_vsz_min[v_pid_name], v_mp_pid_vsz[v_pid_name];
59     }
60 }' $(ls -rt ps_inf*txt) > ps_trace.txt #按时间逆序分析
61 
62 # 将分析结果排序输出
63 # sh ps_trace.sh; sork -k2n ps_trace.txt | tail -100

 

转载于:https://www.cnblogs.com/kingstarer/p/10504841.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/449702.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

专访刘伟:软件开发人员的内功修炼之道

摘要&#xff1a;数学修养对软件开发之路起着什么作用&#xff1f;码农如何修炼自己的内功并成长为优秀的软件开发员&#xff1f;带着相关思考&#xff0c;社区之星第10期采访了中南大学副教授——刘伟。他对数学修养、设计模式、软件架构和重构方面的独特见解&#xff0c;相信…

地址解析协议 (ARP) 是什么

地址解析协议 (ARP) 是通过解析网路层地址来找寻数据链路层地址的一个在网络协议包中极其重要的网络传输协议。 ARP是通过网络地址(例&#xff1a;IPv4)来定位MAC地址 (也称为乙太地址)。 ARP已经在很多网路层和数据链接层之间得以实现&#xff0c;包括IPv4&#xff0c;Chaosn…

04.React事件 方法、 React定义方法的几种方式 获取数据 改变数据 执行方法传值...

2019独角兽企业重金招聘Python工程师标准>>> 一.基本用法 在以类继承的方式定义的组件中&#xff0c;为了能方便地调用当前组件的其他成员方法或属性&#xff08;如&#xff1a;this.state&#xff09;&#xff0c;通常需要将事件处理函数运行时的 this 指向当前组件…

代码之美——Doom3源代码赏析

摘要&#xff1a;Dyad作者、资深C工程师Shawn McGrathz在空闲时翻看了Doom3的源代码&#xff0c;发出了这样的惊叹&#xff1a;“这是我见过的最整洁、最优美的代码&#xff01;”“Doom 3的源代码让我对那些优秀的程序员刮目相看。”因此有了本文。 背景介绍&#xff1a; Doom…

文件基本处理

1 打开文件&#xff0c;将文件句柄赋值给一个变量 2 拿句柄对文件进行操作 3 关闭文件 将一个文件第一行写道另外一个文件 f open("test","r",encoding"utf-8") # open找的是系统的编码 x f.readlines() f.close() f1 open("test1"…

代码审查:程序员内炼之道

摘要&#xff1a;“关注并弄清楚桥梁修建细节&#xff0c;否则你建起来的桥梁有可能坍塌。”代码审查更重要的是一种技术分享或者代码共享。程序员如何提升自我修炼之道&#xff0c;欢迎来支招。 代码审查更重要的是一种技术分享或者代码共享。在审查过程中&#xff0c;通过被…

排序代码(python,c++) 及 基本算法复杂度

0.导语 本节为手撕代码系列之第一弹&#xff0c;主要来手撕排序算法&#xff0c;主要包括以下几大排序算法&#xff1a; 直接插入排序 冒泡排序 选择排序 快速排序 希尔排序 堆排序 归并排序 1.直接插入排序 【算法思想】 每一步将一个待排序的记录&#xff0c;插入到前面…

TCP/IP四层模型与OSI参考模型

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 TCP/IP四层模型&#xff1a; 1.链路层&#xff08;数据链路层/网络接口层&#xff09;&#xff1a;包括操作系统中的设备驱动程序、计算…

还驾驭不了4核? 别人已模拟出百万核心上的并行

摘要&#xff1a;不管是台式机还是笔记本&#xff0c;四核双核都已经不是新鲜的事了。计算机领域的你可能已经认识到了给电脑选配4核的处理器完全是一种浪费&#xff0c;因为大多数的程序都不支持多核心的并行处理。然而斯坦福的计算机科学家最近公布&#xff0c;他们已经模拟出…

Django内置权限扩展案例

当Django的内置权限无法满足需求的时候就自己扩展吧~ 背景介绍 overmind项目使用了Django内置的权限系统&#xff0c;Django内置权限系统基于model层做控制&#xff0c;新的model创建后会默认新建三个权限&#xff0c;分别为&#xff1a;add、change、delete&#xff0c;如果给…

Flutter Mac iOS 环境配置

官方文档&#xff1a;flutter.io/docs/get-st… 1.需要的命令行工具 bash curl git 2.x mkdir rm unzip which 2.SDK下载地址 flutter_macos_v1.0.0-stable.zip storage.googleapis.com/flutter_inf… 3.解压Flutter SDK cd ~/Flutter/SDK $ unzip ~/Downloads/flutter_macos_v…

IntelliJ IDEA中新建JAVA WEB项目、maven项目

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 在IntelliJ IDEA 中新建一个Web应用项目。 1、 在主界面顶部菜单栏依次“File”-"New"-"Project..." 2、在对话框中…

S/4HANA业务角色概览之订单到收款篇

2019独角兽企业重金招聘Python工程师标准>>> 大家好我叫Sean Zhang&#xff0c;中文名张正永。目前在S/4HANA产品研发部门任职产品经理&#xff0c;而这一阶段要从2017年算起&#xff0c;而在那之前接触更多还是技术类的&#xff0c;比如做过iOS、HANA、ABAP、UI5等…

ItelliJ IDEA开发工具使用—创建一个web项目

转自&#xff1a;https://blog.csdn.net/wangyang1354/article/details/50452806概念需要明确一下IDEA中的项目&#xff08;project&#xff09;与eclipse中的项目&#xff08;project&#xff09;是不同的概念&#xff0c;IDEA的project 相当于之前eclipse的workspace,IDEA的M…

极客无极限 一行HTML5代码引发的创意大爆炸

摘要&#xff1a;一行HTML5代码能做什么&#xff1f;国外开发者Jose Jesus Perez Aguinaga写了一行HTML5代码的文本编辑器。这件事在分享到Code Wall、Hacker News之后&#xff0c;引起了众多开发者的注意&#xff0c;纷纷发表了自己的创意。 这是最初的HTML5代码&#xff0c;它…

DOCKER windows 7 详细安装教程

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 DOCKER windows安装 DOCKER windows安装 1.下载程序包2. 设置环境变量3. 启动DOCKERT4. 分析start.sh5. 利用SSH工具管理6. 下载镜像 6.1…

芝麻信用免押金成趋势 报告称租赁经济有望突破10万亿元

中新网1月16日电 “很多物品都是租来的&#xff0c;但生活不是。”如今&#xff0c;越来越多的年轻人选择了“租”生活&#xff0c;从房子到车子&#xff0c;从服饰到电脑&#xff0c;甚至玩具、婴儿车&#xff0c;全都可以租用&#xff0c;租赁已成为当下年轻人追求品质生活的…

开发者成功学:扔掉你那些很sexy的想法

摘要&#xff1a;在开发者的世界里&#xff0c;开发iPhone应用并不像表面那么光鲜&#xff0c;收支不成正比是常有之事&#xff0c;劳心劳力开发的应用无人问津更是屡见不鲜。走出了开发的一小步却难以迈出销售推广上的一大步&#xff0c;究竟如何才能将应用卖出去并获取利润&a…

html-body相关标签

一 字体标签 字体标签包含&#xff1a;h1~h6、<font>、<u>、<b>、<strong><em>、<sup>、<sub> 标题 标题使用<h1>至<h6>标签进行定义。<h1>定义最大的标题&#xff0c;<h6>定义最小的标题。具有align属性&a…

CentOS上安装Docker (图解)

更简单的办法&#xff1a;三分钟装好 Docker ( 图解&#xff09; 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 // 用上面那个办法吧&#xff0c;简单多了&#xff0c;下面这个方法看看…