记一次 .NET 某纺织工厂 MES系统 API 挂死分析

一:背景

1. 讲故事

这个月中旬,有位朋友加我wx求助他的程序线程占有率很高,寻求如何解决,截图如下:

185a5b6b62530ead5880b1a5162da7cf.png

说实话,和不同行业的程序员聊天还是蛮有意思的,广交朋友,也能扩大自己的圈子,朋友说他因为这个bug还导致项目黄了一个... 😂😂😂

363bb7b75ccc771444f169ec0ffb319d.png

哈哈,看样子是客户不买账,验收不了,害。。。早找到我,这客户不就捞回来啦,这也许就是技术的价值吧!😁😁😁

既然找到我,那就让这个挂死问题彻底消失吧,上windbg说话。

二:Windbg 分析

1. 查看线程情况

既然朋友说线程高,那就从线程入手,用 !t 命令即可。

0:000> !t
ThreadCount:      1006
UnstartedThread:  0
BackgroundThread: 1005
PendingThread:    0
DeadThread:       0
Hosted Runtime:   noLock  DBG   ID     OSID ThreadOBJ           State GC Mode     GC Alloc Context                  Domain           Count Apt Exception0    1     10c8 00000000004D89A0    2a020 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     MTA 2    2     13c0 000000000031FF70    2b220 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     MTA (Finalizer) 3    3     12cc 000000000032B780  102a220 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     MTA (Threadpool Worker) 4    5     138c 000000000039E3C0  8029220 Preemptive  00000000B6D3CCA0:00000000B6D3D260 00000000002f1070 0     MTA (Threadpool Completion Port) 6    6     106c 0000000019E562A0  3029220 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     MTA (Threadpool Worker) 8   11      7f0 0000000019F8F9E0    20220 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     Ukn 9 1949     323c 000000009AA69E40  8029220 Preemptive  00000000B6BB8AD0:00000000B6BB94E0 00000000002f1070 0     MTA (Threadpool Completion Port) 10 1637      b3c 000000009AA1C260  8029220 Preemptive  00000000B6CD4220:00000000B6CD47E0 00000000002f1070 0     MTA (Threadpool Completion Port) 11 1947     223c 000000009ADB72E0  8029220 Preemptive  00000000B6D88D68:00000000B6D89550 00000000002f1070 0     MTA (Threadpool Completion Port) 12 1968     2e74 000000009AA1E330  8029220 Preemptive  00000000B6A8CD40:00000000B6A8D300 00000000002f1070 0     MTA (Threadpool Completion Port) 
...994  313     1fa4 000000009A81FFC0  8029220 Preemptive  00000000B6BFC1B8:00000000B6BFC410 00000000002f1070 0     MTA (Threadpool Completion Port) 995 1564     18ec 000000009A835510  8029220 Preemptive  00000000B6AC1ED0:00000000B6AC2490 00000000002f1070 0     MTA (Threadpool Completion Port) 996 1581      4ac 000000001C2E36E0  8029220 Preemptive  00000000B6C51500:00000000B6C51AC0 00000000002f1070 0     MTA (Threadpool Completion Port) 997  814     2acc 000000009A73B5E0  8029220 Preemptive  00000000B6D67BF8:00000000B6D683E0 00000000002f1070 0     MTA (Threadpool Completion Port) 998  517     25dc 000000009A838990  8029220 Preemptive  00000000B6D2CA10:00000000B6D2CFD0 00000000002f1070 0     MTA (Threadpool Completion Port) 999  670     2a10 000000001C2E4400  8029220 Preemptive  00000000B6CD0490:00000000B6CD0A50 00000000002f1070 0     MTA (Threadpool Completion Port) 
1000  183     1704 000000009A81F930  8029220 Preemptive  00000000B6AE8670:00000000B6AE8C30 00000000002f1070 0     MTA (Threadpool Completion Port) 
1001  117     1bcc 000000009A73BC70  8029220 Preemptive  00000000B6B92780:00000000B6B92D40 00000000002f1070 0     MTA (Threadpool Completion Port) 
1002 1855     1d68 000000009A81E580  8029220 Preemptive  00000000B6B28460:00000000B6B28A20 00000000002f1070 0     MTA (Threadpool Completion Port) 
1003 1070     2ef0 000000009A73C300  8029220 Preemptive  00000000B6B8F640:00000000B6B8FC00 00000000002f1070 0     MTA (Threadpool Completion Port) 
1004 1429     210c 000000001C2E4A90  8029220 Preemptive  00000000B6D5F488:00000000B6D5FC70 00000000002f1070 0     MTA (Threadpool Completion Port) 
1005 1252     2f38 000000009A838300  8029220 Preemptive  00000000B6A99240:00000000B6A99800 00000000002f1070 0     MTA (Threadpool Completion Port) 
1006 1317     3118 000000001C2E5120  8029220 Preemptive  00000000B6DA3A30:00000000B6DA4440 00000000002f1070 0     MTA (Threadpool Completion Port) 
1007 1837     3120 000000009A8375E0  8029220 Preemptive  00000000B6D38F10:00000000B6D394D0 00000000002f1070 0     MTA (Threadpool Completion Port) 
1009 1964     2f64 000000009A81DEF0  1029220 Preemptive  0000000000000000:0000000000000000 00000000002f1070 0     MTA (Threadpool Worker)

可以看到当前有 1006 个线程,其中 1000 个是 Threadpool Completion Port,这么多IO线程卡死也是第一次遇到,🐂👃。

442dbe9c451dab643236e8d2c109f21c.png

说实话,看到 Threadpool Completion Port 我就想到这是一个异步操作的回调,那为什么会有这么多IO线程被卡死 ? 要想寻找答案,抽个线程看一下。

0:1000> ~1000s
ntdll!NtNotifyChangeDirectoryFile+0xa:
00000000`77c7a75a c3              ret
0:1000> !clrstack 
OS Thread Id: 0x1704 (1000)Child SP               IP Call Site
00000000A99FF4C0 0000000077c7a75a [InlinedCallFrame: 00000000a99ff4c0] Interop+Kernel32.ReadDirectoryChangesW(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte[], Int32, Boolean, Int32, Int32 ByRef, System.Threading.NativeOverlapped*, IntPtr)
00000000A99FF4C0 000007fe8e87bd20 [InlinedCallFrame: 00000000a99ff4c0] Interop+Kernel32.ReadDirectoryChangesW(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte[], Int32, Boolean, Int32, Int32 ByRef, System.Threading.NativeOverlapped*, IntPtr)
00000000A99FF470 000007fe8e87bd20 DomainBoundILStubClass.IL_STUB_PInvoke(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte[], Int32, Boolean, Int32, Int32 ByRef, System.Threading.NativeOverlapped*, IntPtr)
00000000A99FF560 000007fef19dab6e System.IO.FileSystemWatcher.Monitor(AsyncReadState) [E:\A\_work\322\s\corefx\src\System.IO.FileSystem.Watcher\src\System\IO\FileSystemWatcher.Win32.cs @ 141]
00000000A99FF5E0 000007fef19dae6c System.IO.FileSystemWatcher.ReadDirectoryChangesCallback(UInt32, UInt32, System.Threading.NativeOverlapped*) [E:\A\_work\322\s\corefx\src\System.IO.FileSystem.Watcher\src\System\IO\FileSystemWatcher.Win32.cs @ 227]
00000000A99FF630 000007feedbe0af9 System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [E:\A\_work\191\s\src\mscorlib\shared\System\Threading\ExecutionContext.cs @ 167]
00000000A99FF6B0 000007feede094dc System.Threading._IOCompletionCallback.PerformIOCompletionCallback(UInt32, UInt32, System.Threading.NativeOverlapped*) [E:\A\_work\191\s\src\mscorlib\src\System\Threading\Overlapped.cs @ 108]
00000000A99FF7F0 000007feee359ed3 [GCFrame: 00000000a99ff7f0] 
00000000A99FF9D0 000007feee359ed3 [DebuggerU2MCatchHandlerFrame: 00000000a99ff9d0]

我去,又见 FileSystemWatcher ,追这个系列的朋友应该知道,我上个月分析了一篇 记一次 .NET 某流媒体独角兽 API 句柄泄漏分析文件句柄 爆高,他的形成原因是 定时刷新 appsetttings + reloadOnChange=true 所致,这世界真小,莫不会撞车了。。。接下来我们重点关注一下它。

2. 探究 FileSystemWatcher

要想进一步分析,先用 !dso 命令看一下当前的线程栈对象。

0:1000> !dso
OS Thread Id: 0x1704 (1000)
RSP/REG          Object           Name
00000000A99FF508 00000000263285d8 System.Byte[]
00000000A99FF518 00000000242aeb10 System.Threading._IOCompletionCallback
00000000A99FF560 00000000242ae1b0 Microsoft.Win32.SafeHandles.SafeFileHandle
00000000A99FF568 00000000242aeaa8 System.Threading.PreAllocatedOverlapped
00000000A99FF578 00000000242aeb10 System.Threading._IOCompletionCallback
00000000A99FF5E0 00000000242a8538 System.IO.FileSystemWatcher
00000000A99FF5E8 00000000242aea10 System.IO.FileSystemWatcher+AsyncReadState
00000000A99FF608 00000000242aea10 System.IO.FileSystemWatcher+AsyncReadState
00000000A99FF610 0000000023206e30 System.Threading.ExecutionContext
00000000A99FF618 0000000001032928 System.Threading.ContextCallback
00000000A99FF630 00000000242a8538 System.IO.FileSystemWatcher
00000000A99FF678 00000000b6a69a40 System.Threading.Thread
00000000A99FF688 00000000242aeb10 System.Threading._IOCompletionCallback
00000000A99FF690 0000000023206e30 System.Threading.ExecutionContext
00000000A99FF6C0 0000000021fa55d8 System.Threading._IOCompletionCallback
00000000A99FF6C8 000000002052e6e0 System.Threading.ExecutionContext
00000000A99FF7E0 000000000560d2b0 System.Threading.OverlappedData

由于线程栈上的对象是向小扩展的,所以看那个最小地址上的 System.Byte[] 内容就知道当前回调的是啥啦,截图如下:

089bad4ed6bd40125e55f2617bce6713.png

经过上一役的分析经验,到这里我基本就搞清楚了,这又是一个不断构建 ConfigurationRoot 时配了 reloadOnChange: true  的经典案例,它的后果会导致内存中新增大量的 FileSystemWatcherConfigurationRoot 无法释放,而诱发点就是上图中的日志文件的不断变更导致的海量回调函数触发的卡死案例,具体详情... 请听我慢慢分解,先验证下这两个类在托管堆上的个数。

0:1000> !dumpheap -stat -type FileSystemWatcher
Statistics:MT    Count    TotalSize Class Name
000007fe8ed5bc90        2          160 System.Collections.Generic.Dictionary`2[[System.String, System.Private.CoreLib],[System.IO.FileSystemWatcher, System.IO.FileSystem.Watcher]]
000007fe8e9f11a0    34480      1930880 System.IO.FileSystemWatcher+AsyncReadState
000007fe8e9d69c8    34480      4137600 System.IO.FileSystemWatcher
Total 68962 objects0:1000> !dumpheap -stat -type ConfigurationRoot
Statistics:MT    Count    TotalSize Class Name
000007fe8e9f1e70    34480       827520 Microsoft.Extensions.Configuration.ConfigurationRoot+<>c__DisplayClass2_0
000007fe8e999560    34480      1103360 Microsoft.Extensions.Configuration.ConfigurationRoot
Total 68960 objects

果不其然,托管堆有 3.4w 的 FileSystemWatcher 和 ConfigurationRoot,接下来就得和朋友沟通了。

3. 到底是什么代码引起的?

询问朋友为什么会有 3.4wConfigurationRoot 对象,理论上一个程序只会有一个,根据这些信息,朋友很快就找到了问题代码,截图如下:

2e9d58ba1975913bef803dd748a5f1ac.png

就是因为上图中的 reloadOnChange: true 让底层构建了 FileSystemWatcher 对 appsettings.json 的实时监控,从而导致内存出现了 3.4w 的对象无法释放。

三:为什么日志变更会造成程序卡死

1. 当初的困惑

其实我当初分析到这里的时候也是很困惑的,就算内存中有 3.4w 的 FileSystemWatcher,那也只是对 appsettings.json 的监控,只要这个文件不变动就不会触发 3.4w 的回调,不是吗?可当我分析完 ConfigurationRoot 源码之后,我发现自己真tmd的天真。

2. 从源码中寻找答案

首先我们看看 FileSystemWatcher 到底监控的是啥?可以在它的构造函数中设一个断点,如下图所示:

0ad392638bfd8da8116b6674cc7abf35.png

很明显的看到,它 watch 的是程序根目录,这就能解释为什么日志文件有变更就会触发文件变更的回调函数,为了验证,我可以在 ReadDirectoryChangesCallback 方法中下一个断点,再丢一个日志文件到根目录,看是否能触发就知道了。。。截图如下:

ec5ec6bc15add631e01e0d34709c25b6.png

回到本案例,也就是说一旦有日志变动,就会触发 3.4w 个回调函数,如果变动100次,就会触发 340w 次回调,而日志变更不停止,自然就会因为海量的回调把程序搞死。。。对吧。。。

四:总结

本次事故可能是由于朋友偷懒,没有将 ConfigurationIOptions 注下去,而是采用重新构建 ConfigurationRoot 的方式获取 ConnectionString,并错误的配置 reloadOnChange: true, 导致IO线程无法及时处理由于日志文件的变更导致的海量回调函数,进而导致程序挂死。

知道整个来龙去脉之后,优化措施就很简单了,提供两种方法。

  1. reloadOnChange: true 改成 reloadOnChange: false

  2. 想办法将 Configuration 注入到  DataBaseConfig 类中,做成静态变量也行 。😁😁😁

最后上一个彩蛋,朋友太客气了。

4df34b7ed7442e1ceadcfd35e585289e.png

END

工作中的你,是否已遇到 ... 

1. CPU爆高

2. 内存暴涨

3. 资源泄漏

4. 崩溃死锁

5. 程序呆滞

等紧急事件,全公司都指望着你能解决...  危难时刻才能展现你的技术价值,作为专注于.NET高级调试的技术博主,欢迎微信搜索: 一线码农聊技术,免费协助你分析Dump文件,希望我能将你的踩坑经验分享给更多的人。

0244e7ab88f25d145b1b9cac1f03c141.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/297466.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Windows7下注册OCX的注意事项

文章首发于&#xff1a;博客园 今天要测试一个几年前基于.NET Framework1.1做的软件在Window7下的工作情况&#xff0c;发现Windows7很体贴的已经默认安装了最新版的Framework3.5.1。程序跑的很顺畅&#xff0c;看来Win7的向下兼容性果然不错。 不过途中发现有一个用到的OCX控件…

获取iOS 设备上崩溃日志 (Crash Log)的方法

1. iTunes同步获取 大部分用户会使用iTunes软件来管理iPhone&#xff0c;这样同步的Crash日志就会同步到电脑上&#xff0c;我们需要在特定的路径里面查找 Mac OS X&#xff1a;~/Library/Logs/CrashReporter/MobileDevice 2. 使用第三方软件 &#xff1a; itools等 使用itool…

python求斜边上的高_直角三角形斜边上的高怎么求

展开全部 直角三角形斜边32313133353236313431303231363533e78988e69d8331333431336666上的高的求法&#xff1a; 1. 直角三角形斜边上的高等于两条直角边的乘积除以斜边的商。 例如&#xff1a;直角三角形的两个直角边分别为a和b&#xff0c;斜边为c&#xff0c;那么&#xff…

[设计模式]桥接模式

桥接模式可以把抽象类和实现类进行各自封装和扩展&#xff0c;目的在于解耦。由于桥接模式可以增强了组合性&#xff0c;我们可以很灵活地修改类&#xff0c;并且很好地重用。我们可以先看一下简单的片断&#xff1a; //这是一个演示简单的桥接模式片断(本例子只假设在标准浏览…

使用identity+jwt保护你的webapi(一)——identity基础配置

前言用户模块几乎是每个系统必备的基础功能&#xff0c;如果每次开发一个新项目时都要做个用户模块&#xff0c;确实非常无聊。好在asp.net core给我们提供了Identity&#xff0c;使用起来也是比较方便&#xff0c;如果对用户这块需求不是非常个性化的话&#xff0c;identity是…

四大金刚 数据结构_GIS技术在气象领域应用综述

GIS技术在气象领域应用综述李丹【摘要】摘要:地理信息系统即GIS具有数据分析、图形制作、预测等多方面的功能,在气象领域当中能够对气象数据进行实时采集-处理,从而为气象数据库提供强有力的技术支持。接下来,本文围绕GIS技术在气象领域应用进行论述,望具有一定的可参考价值。【…

年轻人不能“饥渴”太久,否则……

全世界只有3.14 % 的人关注了爆炸吧知识文 / 较高端人类来源 / 较高端人类&#xff08;ID&#xff1a;xinji656&#xff09;转发到朋友圈健康生活从饮水做起本文来源于微信公众号&#xff1a;较高端人类&#xff08;ID&#xff1a;xinji656&#xff09;我们只研究那些你感兴趣的…

Redis集群(一):集群搭建

2019独角兽企业重金招聘Python工程师标准>>> 概述 这里只记录操作步骤和集群测试&#xff0c;保证快速搭建集群环境。具体原理请查阅官方文档&#xff08;中文版&#xff09;&#xff1a; http://www.redis.cn/topics/cluster-spec.html 集群容灾&#xff1a;Redis集…

python优惠券机器人_python实现机器人卡牌

介绍 这个例子主要利用turtle库实现根据输入动态展示不同机器人的图像和属性信息。 代码部分非原创只是做了些许修改和整理使得更易阅读。 图片和文件资源请访问git仓库获取&#xff1a;链接地址 涉及以下知识点&#xff1a; 1.文件读取 2.字典 3.turtle库的使用 4.控制语句 实…

php imap模块的添加

问题说明&#xff1a;由于公司需要对发邮件而被退回的邮件进行处理&#xff0c;而在最初php并没有imap.so的扩展支持&#xff0c;所以需要添加新的扩展 系统环境&#xff1a;centos5.2&#xff0c;php是采用源码安装 由于早期添加过 soap的扩展&#xff08;我采用的是重新编译的…

使用identity+jwt保护你的webapi(二)——获取jwt token

前言上一篇已经介绍了identity在web api中的基本配置&#xff0c;本篇来完成用户的注册&#xff0c;登录&#xff0c;获取jwt token。开始开始之前先配置一下jwt相关服务。配置JWT 首先NuGet安装包&#xff1a;<PackageReference Include"Microsoft.AspNetCore.Authent…

假如,绿茶婊的目标变成女生......

1 假如绿茶的目标是女生▼2 也不知道我爹今晚回去要迎接怎样的狂风暴雨▼3 这撞衫撞得有点尴尬▼4 我是一个小胖子没事玩玩小肚子▼5 看起来也不傻可能就是单纯的有猫病▼6 在严肃场合努力憋笑的我▼7 妈妈&#xff1a;叫你吃饭不吃饭&#xff01;三请四请才肯来&#x…

使用Mutex實現單一程式執行個體的注意事項(转)

相信大家都知道在.NET程式中若要實現單一程式執行個體&#xff0c;一般來說有幾種方法&#xff0c;像是去判斷是否已經有開啟的Process是相同的程式、用Mutex與Semaphore之類的技術來判斷是否程式正在開啟。但是很多網路上的文章都忽略了在用Mutex實現單一程式執行個體時&#…

docker 启动mysql root用户_Docker-Compose搭建Wordpress博客系统

环境&#xff1a;CentOS 7.5Docker 20.10.2Docker-Compose 1.25.5[rootlocalhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.5.1804 (Core)[rootlocalhost ~]# docker version # Docker版本Client: Docker Engine - Community Version: 20.10.2…

理解元数据

元数据&#xff0c;metadata&#xff0c;最本质的解读&#xff1a;data about data&#xff0c;info about information. 1.&#xff08;针对dotnet&#xff09;反射是一种在运行时获取和使用元数据的技术。其本质在于元数据。对应一个程序集的描述是Assembly类&#xff0c;对应…

python函数参数类型检查_Python中实现参数类型检查的简单方法

Python是一门弱类型语言&#xff0c;很多从C/C转过来的朋友起初不是很适应。比如&#xff0c;在声明一个函数时&#xff0c;不能指定参数的类型。用C做类比&#xff0c;那就是所有参数都是void*类型&#xff01;void类型强制转换在C中被广泛地认为是个坏习惯&#xff0c;不到万…

开机的时候重新设置密linux管理员的密码

1. 在出现grub画面时&#xff0c;用上下键选中你平时启动linux的那一项&#xff0c;然后按e键2. 再次用上下键选中你平时启动linux的那一项(类似于kernel/boot/vmlinuz-2.4.18-14 ro rootLABEL/)&#xff0c;然后按e键3. 修改你现在见到的命令行&#xff0c;加入single&#xf…

跪着看完这14个机械动图

全世界只有3.14 % 的人关注了爆炸吧知识神奇的机械原理动态GIF图&#xff0c;很有意思&#xff0c;或许你能学到点什么&#xff01;↑↑时间书写机器↑↑↑↑鸡尾酒制作机↑↑↑↑移树机↑↑↑↑扔球机&#xff08;用于陪狗玩&#xff09;↑↑↑↑甜甜圈抓取机↑↑↑↑玻璃瓶加…

再来说说我喜欢的 Dotnet 5.0 C# 9

上次写完 C# 10&#xff0c;有兄弟在后台问 C# 9&#xff0c;就再开个篇写一写。C# 9&#xff0c;对应的是 Dotnet 5.0。这个出来也有些日子了&#xff0c;不过好像群里很多人还是没往这个版本走。我这边现在是全线已经转向了 5.0&#xff0c;还是我经常说的那个原因&#xff1…

《C语言及程序设计》实践参考——当年第几天(数组方案)

返回&#xff1a;贺老师课程教学链接 项目要求 【项目3-当年第几天(数组方案)】 当年第几天中定义一个函数&#xff0c;其参数为年、月、日的值&#xff0c;返回这一天为该年的第几天。要求在main函数中输入年月日&#xff0c;然后调用这个函数求值&#xff0c;并在main函数中…