记一次 .NET 某电厂Web系统 内存泄漏分析

一：背景

1. 讲故事

前段时间有位朋友找到我，说他的程序内存占用比较大，寻求如何解决，截图就不发了，分析下来我感觉除了程序本身的问题之外，.NET5 在内存管理方面做的也不够好，所以有必要给大家分享一下。

二：WinDbg 分析

1. 托管还是非托管泄漏

这个还是老规矩 !address -summary 和 !eeheap -gc 组合命令排查一下。

0:000> !address -summaryMapping file section regions...
Mapping module regions...
Mapping PEB regions...
Mapping TEB and stack regions...
Mapping heap regions...
Mapping page heap regions...
Mapping other regions...
Mapping stack trace database regions...
Mapping activation context regions...
--- State Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
MEM_FREE                                426     7df8`af1ce000 ( 125.971 TB)           98.42%
MEM_RESERVE                             619      206`01b9c000 (   2.023 TB)  99.75%    1.58%
MEM_COMMIT                             3096        1`4f286000 (   5.237 GB)   0.25%    0.00%0:000> !eeheap -gc
Number of GC Heaps: 16
------------------------------
...
Heap 15 (0000024AF6BAA2E0)
generation 0 starts at 0x000002509729B538
generation 1 starts at 0x000002509720B638
generation 2 starts at 0x0000025096F91000
ephemeral segment allocation context: nonesegment             begin         allocated         committed    allocated size    committed size
0000025096F90000  0000025096F91000  000002509B5AFB40  000002509DFE9000  0x461eb40(73526080)  0x7058000(117800960)
Large object heap starts at 0x00000250D6F91000segment             begin         allocated         committed    allocated size    committed size
00000250D6F90000  00000250D6F91000  00000250DEB6AC60  00000250DEB6B000  0x7bd9c60(129866848)  0x7bda000(129867776)
Pinned object heap starts at 0x00000250E6F91000
00000250E6F90000  00000250E6F91000  00000250E75D94E0  00000250E75DA000  0x6484e0(6587616)  0x649000(6590464)
Allocated Heap Size:       Size: 0xc840c80 (209980544) bytes.
Committed Heap Size:       Size: 0xec32000 (247668736) bytes.
------------------------------
GC Allocated Heap Size:    Size: 0xd6904dd8 (3599781336) bytes.
GC Committed Heap Size:    Size: 0x11884b000 (4706316288) bytes.

从卦中指标看：5.2G 和 4.7G ，很明显问题出在了托管层，但如果你细心的话，你会发现这 4.7G 是 commit 内存，其实真正占用的只有 3.5G，言外之意有 1.2G 的空间其实属于 Commit 区，也就是为了少向 OS 申请内存而虚占的一部分空间，画个简图就像下面这样：

95ae70f9ac55d4ba8860cd8a8cf68890.png

这也是我第一次看到 Alloc 和 Commit 差距有这么大。

2. 探究托管内存占用

首先看下 3.5G 内存这块，这个分析比较简单，直接看托管堆就好了。

0:000> !dumpheap -stat
Statistics:MT    Count    TotalSize Class Name
...
00007ffa19e64808    25804     36125600 xxxx.MongoDB.Entity.GeneratorMongodb
0000024af68aa2c0    20517    630474976      Free
00007ffa1947bf30    52477    654558722 System.Byte[]
00007ffa194847f0     1921   1044818774 System.Char[]
00007ffa19437a90   673850   1116597742 System.String

从输出信息看，主要还是被 String,Char[],Byte[] 占用了，根据经验，这三个组合在一块，大多是存了什么字节流在内存中，比如 Pdf，Image ，然后在内存中倒来倒去就成这个样子了。

接下来在 char[] 中抽一些 obj 看一下，果然大多是 jpg 。

0:000> !DumpObj /d 00000250da9d3618
Name:        System.Char[]
MethodTable: 00007ffa194847f0
EEClass:     00007ffa19484770
Size:        11990052(0xb6f424) bytes
Array:       Rank 1, Number of elements 5995014, Type Char (Print Array)
Content:     data:image/jpeg;base64,iVBORw0KGgoAAAANSUhEUgAAA4QAAASwCAYAAACjAoQOAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA7DA
Fields:
None
0:000> !DumpObj /d 00000250db542a60
Name:        System.Char[]
MethodTable: 00007ffa194847f0
EEClass:     00007ffa19484770
Size:        15667860(0xef1294) bytes
Array:       Rank 1, Number of elements 7833918, Type Char (Print Array)
Content:     data:image/jpeg;base64,iVBORw0KGgoAAAANSUhEUgAAA4QAAASwCAYAAACjAoQOAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA7DA
Fields:
None

可以看到，3.2G 的内存大多是被 图片 所占用，朋友反馈是把 图片 存到数据库所致，好了，这一块就分析到这里，分析思路也很明显，接下来探究下 alloc 和 commit 的问题。

3. 为什么 alloc 和 commit 差距这么大

一般而言，差距大有以下几点诱因所致。

  1. segment 越大，commit 预设的区域就越大

根据官方文档的定义，segment 的大小取决于 cpu核数 和 程序的位数，截图如下：

cda554219c53ed4bbebce24d9dd62fb3.png

有了这个指标，怎么到 dump去找各自数据呢，用 !eeversion 看下 heap 的个数以及观察下内存地址的长度就好啦。

0:000> !eeversion
5.0.621.22011 free
5,0,621,22011 @Commit: 478b2f8c0e480665f6c52c95cd57830784dc9560
Server mode with 16 gc heaps
SOS Version: 6.0.5.7301 retail build

可以看到，这个程序是用 64bit 跑在 16 核机器上，segment 上限为 1G 。

  1. segment 越多，alloc 和 commit 累计差距就会越大

每个 segment 都差一点，那多个 segment 自然就累计出来了，接下来就找一下那些差距比较大的 segment。

Heap 0 (0000024AF685A500)segment             begin         allocated         committed    allocated size    committed size
0000024AF6F90000  0000024AF6F91000  0000024AF83B6D28  0000024AFEB42000  0x1425d28(21126440)  0x7bb1000(129699840)
------------------------------
Heap 1 (0000024AF68819A0)segment             begin         allocated         committed    allocated size    committed size
0000024B56F90000  0000024B56F91000  0000024B58507410  0000024B5D2E5000  0x1576410(22504464)  0x6354000(104153088)
------------------------------
Heap 4 (0000024AF688F770)segment             begin         allocated         committed    allocated size    committed size
0000024C76F90000  0000024C76F91000  0000024C783BDBE8  0000024C7ECF7000  0x142cbe8(21154792)  0x7d66000(131489792)
------------------------------
Heap 6 (0000024AF68980A0)segment             begin         allocated         committed    allocated size    committed size
0000024D36F90000  0000024D36F91000  0000024D38B87E78  0000024D3F881000  0x1bf6e78(29322872)  0x88f0000(143589376)
...

从输出信息看，差距最大的是 Heap6，高达 110M，那这 110M 差距是否合理呢？其实仔细想想也不太离谱，毕竟命中了上面提到的两点，但我觉得这里的空间是不是还可以再智能的优化一下，再缩小一点？

4. Commit区能不能再小点？

能不能缩的再小一点，其实这是一种 CLR 智能算法的抉择，Commit 区越大，申请对象的速度就越快，向 OS 申请内存的频率就越低，反之 Commit 区越小，向 OS 再次申请内存的概率就越大，段的模型图大概是这个样子：

c749266f0dfbc5c4ad229f32cf130cba.png

后来仔细想了下，既然 Commit 区多保留了 110M，那曾经肯定是某一个时刻突破过，后来因为成了垃圾对象，被 GC 回收了，但内存区域被GC私藏下来，所以程序肯定出现过 快出快进 的现象，接下来的想法就是用 writemem 把 alloc ~ commit 的内存区间给导出来看下，是不是有什么新发现。

0:000> .writemem D:\dumps\dump1\1.txt 0000024AF83B6D28 L?0x0678b2d8 
Writing 678b2d8 bytes.............
513ba2fdf41492a7fc6f1c369060a929.png

发现了很多类似这样的信息，把这个信息提供给朋友后，朋友说他找到这块问题了，是网站上用 NPOI  数据导出 功能所致。

三：总结

其实这个 dump 给了我们两方面的教训。

  1. 不要将 image 放到 sqlserver 里，不仅占用sql的资源，让程序也不堪重负，毕竟读出去都是 byte[] ...

  2. coreclr 虽然有自己的抉择算法，如果再智能一点就好了，让 commit ~ alloc 之间的差距更合理一点。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/284844.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[转]将图片转换为 latex 公式

[转]将图片转换为 latex 公式

一、官网链接及使用方法 官网链接（跨平台）: Mathpix 公式截图快捷键截图生成 latex 公式--------------------- 作者：man_world 来源：CSDN 原文：https://blog.csdn.net/mzpmzk/article/details/84140617 版权声明&…
阅读更多...
在SQL Server2005中使用 .NET程序集

在SQL Server2005中使用 .NET程序集

昨天完成了一个最简单的在数据库中创建标量值函数,今天主要完成表值函数,存储过程和用户定义类型在和.NET结合下的使用方法.1,表值函数所谓表值函数就是说这个函数返回的结果是一个Table,而不是单个的值.在.NET 中创建这样的函数,返回的结果是一个IEnumerable接口.这个接口非常…
阅读更多...
AI作画的业界天花板被我找到了，AIGC模型揭秘 | 昆仑万维

AI作画的业界天花板被我找到了，AIGC模型揭秘 | 昆仑万维

一、前景 1、AI和AIGC的关系 人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 AIGC是继 UGC、PGC 之后新型利用AI技术自动生成内容的生产…
阅读更多...
【ArcGIS微课1000例】0022：ArcGIS点（点坐标）自动连成线操作案例教程

【ArcGIS微课1000例】0022：ArcGIS点（点坐标）自动连成线操作案例教程

ArcGIS中，可以将带三维坐标（X、Y、Z）的点/点集自动连成线，本文演示具体操作流程。 文章目录 实战演练GPS点数据下载实战演练 打开ArcMap软件，添加实验文件夹0022下的GPS轨迹点.shp矢量点数据（文末提供下载地址），该数据是由GPS RTK采集的河道点数据，首先需要将GPS点坐…
阅读更多...
微信公众号 文章的爬虫系统

微信公众号 文章的爬虫系统

差不多俩个星期了吧，一直在调试关于微信公众号的文章爬虫系统，终于一切都好了，但是在这期间碰到了很多问题，今天就来回顾一下，总结一下，希望有用到的小伙伴可以学习学习。 1、做了俩次爬虫了，第…
阅读更多...
OAuth认证与授权

OAuth认证与授权

什么是OAuth授权？ 一、什么是OAuth协议OAuth(开放授权)是一个开放标准。允许第三方网站在用户授权的前提下访问在用户在服务商那里存储的各种信息。而这种授权无需将用户提供用户名和密码提供给该第三方网站。OAuth允许用户提供一个令牌给第三方网站，一个…
阅读更多...
SegmentFault Hackathon 文艺复兴

SegmentFault Hackathon 文艺复兴

我有一个 idea，我想实现它，我正实现它，我已实现它。世界上存在一些好奇心旺盛、不爱墨守成规的人，略微偏执但又极度投入的他们崇尚自由，热衷用技术实现自己的想法，他们带着不羁的态度生活，利用编…
阅读更多...
卧槽！VS Code 上竟然也能画流程图了？？？

卧槽！VS Code 上竟然也能画流程图了？？？

作为一款开源的主流代码编辑器，VSCode 在发布之后一直受到不少开发者的喜爱。 此前，我们也曾在公众号上分享过多篇文章，向大家推荐了不少 VSCode 上比较实用（或沙雕）的插件。因此，有很多水友也经常调侃道&…
阅读更多...
【QGIS入门实战精品教程】14.1：QGIS如何加载各种在线地图？

【QGIS入门实战精品教程】14.1：QGIS如何加载各种在线地图？

文章目录 一、XYZ Tiles连接方式二、插件添加三、WMS/WMTS/OWS连接方式一、XYZ Tiles连接方式 1. 加载OpenStreetMap QGIS默认可以加载OpenStreetMap地图。在左侧点击XYZ Tiles，默认下面有个OpenStreetMap选项，双击打右侧会显示地图，如下图所示： 在OpenStreetMap上右键→…
阅读更多...
SkiaSharp 之 WPF 自绘时钟（案例版）

SkiaSharp 之 WPF 自绘时钟（案例版）

SkiaSharp是一个跨平台2D图形API，用于.NET平台，基于Googles Skia Graphics库(skia.org网站). 它提供了一个全面的2D API，可以跨移动、服务器和桌面模型来渲染图像。该图形库可实现获取指定坐标像素值、绘制2d图形、绘制文字（必须有…
阅读更多...
推荐一简单易用的脑图制作工具

推荐一简单易用的脑图制作工具

幕布是什么？ 大纲文档工具，管理你的大脑层级折叠文字，结构化思考助手一键转换思维导图并编辑，效率翻倍幕布可以做什么？ 大纲笔记，思维整理 学习笔记清单工具 管理日程管理待办购物清单等等内容创作会议记录…
阅读更多...
【QGIS入门实战精品教程】4.5：QGIS打开Excel中的点坐标，并生成矢量文件

【QGIS入门实战精品教程】4.5：QGIS打开Excel中的点坐标，并生成矢量文件

QGIS中可以很方便添加Excel或其他文本格式的点坐标，并将其转为矢量等多种格式的文件。 扩展阅读： 【ArcGIS风暴】ArcGIS 10.2导入Excel数据X、Y坐标（经纬度、平面坐标），生成Shapefile点数据图层 文章目录 1. 数据准备2. 添加数据3. 保存文矢量文件1. 数据准备 本实验使用…
阅读更多...
腾讯云EKS 上部署 eshopondapr

腾讯云EKS 上部署 eshopondapr

腾讯云容器服务（Tencent Kubernetes Engine，TKE）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ，扩展了腾讯云的云硬盘、负载均衡等 kubernetes 插件&…
阅读更多...
[转]一往无前 | 小米十周年，雷军公开演讲全文

[转]一往无前 | 小米十周年，雷军公开演讲全文

2020年8月11日19:30，小米十周年，雷军公开演讲如约而至。在近3小时的演讲中，雷军用20个故事回顾了小米过去的热血10年，也展望了新的10年： - 创新之火将会照亮每个疯狂的想法，小米将成为工程师向往的圣地。 -…
阅读更多...
JAVA单例之我见

JAVA单例之我见

为什么80%的码农都做不了架构师？>>> 单例模式作为设计模式中最简单的一种，是一个被说烂了的东西。但是在项目中还是会发现关于单例模式的一些错误实现，可见单例也并不是我们想象的那么简单。最近陆陆续续看了几篇关于单例的博客&…
阅读更多...
「刘一哥GIS」系列专栏《QGIS入门实战精品教程（配套案例数据）》

「刘一哥GIS」系列专栏《QGIS入门实战精品教程（配套案例数据）》

「刘一哥GIS」系列专栏《QGIS入门实战精品教程（配套案例数据）》全新上线了，欢迎广大GISer朋友关注，一起探索GIS奥秘，分享GIS价值！ 本专栏以实战案例的形式，深入浅出地介绍了QGIS的基本使用方法&…
阅读更多...
MyEclipse的Git配置

MyEclipse的Git配置

1.下载：git的插件egit 并解压 插件 下载地址：http://www.eclipse.org/egit/download/ 所有版本：http://wiki.eclipse.org/EGit/FAQ#Where_can_I_find_older_releases_of_EGit.3F 2.在MyEclipse安装目录下的dropins文件夹下创建egit文件夹 3.…
阅读更多...
VSCode 插件开发实例（WebView）：微信读书 ^-^边撸代码边看小说^-^

VSCode 插件开发实例（WebView）：微信读书 ^-^边撸代码边看小说^-^

最终效果 主要代码 package.json {"name": "WeReadForVSCodeJackieZheng","repository": {"type": "git","url": "https://github.com/JackieZheng/WeReadForVSCode.git"},"displayName": &q…
阅读更多...
【QGIS入门实战精品教程】4.7：QGIS如何将矢量数据转为GeoJSON格式？

【QGIS入门实战精品教程】4.7：QGIS如何将矢量数据转为GeoJSON格式？

本文以案例的形式，讲述在QGIS专业软件中，将矢量数据转为GeoJSON的方法。 扩展阅读： 【ArcGIS风暴】如何将矢量数据（点、线、面）折点坐标转为GeoJSON格式？ 在QGIS中，可以直接将数据导出为GeoJSON格式。具体操作方法是：右键矢量数据图层→导出图层→到文件，如下图所示：…
阅读更多...
Git的纯命令操作，Install，Clone , Commit，Push，Pull，版本回退，撤销更新，分支的创建/切换/更新/提交/合并，代码冲突...

Git的纯命令操作，Install，Clone , Commit，Push，Pull，版本回退，撤销更新，分支的创建/切换/更新/提交/合并，代码冲突...

Git的纯命令操作，Install，Clone , Commit，Push，Pull，版本回退，撤销更新，分支的创建/切换/更新/提交/合并，代码冲突 这篇是接着上篇分布式版本库——Windows下Git的环境部署以及在Git…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023