没想到,错误的单例写法,让 RabbitMQ 大量超时导致程序挂死!

一:背景

1. 讲故事

10月份星球里的一位老朋友找到我,说他们公司的程序在一个网红直播带货下给弄得无响应了,无响应期间有大量的 RabbitMQ 超时,寻求如何找到根源,聊天截图我就不发了。

既然无响应了,那必然是程序的大量线程被主动或者被动的挂起,朋友也很及时的从程序上抽了一管血下来,接下来就上 windbg 一起探究下到底发生了什么?

二:Windbg 分析

1. 线程们都怎么了

要想看所有线程,还是老命令  !t

0:000> !t
ThreadCount:      5221
UnstartedThread:  0
BackgroundThread: 5199
PendingThread:    0
DeadThread:       21
Hosted Runtime:   noLock  DBG   ID     OSID ThreadOBJ           State GC Mode     GC Alloc Context                  Domain           Count Apt Exception20    1     74e4 00000276CB778180  202a020 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 MTA 31    2     42cc 00000276CB6CA830    2b220 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 MTA (Finalizer) 32    3     2b40 00000276CB85D1B0  102a220 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 MTA (Threadpool Worker) 2    6     bccc 00000276CBA5D2F0    20220 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 Ukn 33    9     7224 00000276CBA5C0C0  3029220 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 MTA (Threadpool Worker) System.IO.IOException 00000279ccc56cd09   23     29e0 0000027BD86FD180    20220 Preemptive  0000000000000000:0000000000000000 00000276cb77c9d0 -00001 Ukn 
...

从简要信息看,当前有 5000+ 的线程,太牛了,一般一台机器的所有进程的线程加起来也没这么多。。。不过我目前看到最多的是 1w + 的线程 😂😂😂, 就是那种不用线程池,直接用 Thread 造成的一种线程垃圾。

可以看到线程列表中的 9号线程 抛了托管异常,接下来看看是个啥错误, 使用 !wpe 00000279ccc56cd0 命令。

0:000> !wpe 00000279ccc56cd0
Address: 00000279ccc56cd0
Exception Type: System.IO.IOException
Message: Unable to read data from the transport connection: 远程主机强迫关闭了一个现有的连接。.
Inner Exception: 00000279ccc56b20 System.Net.Sockets.SocketException 远程主机强迫关闭了一个现有的连接。
Stack:
SP               IP               Function
000000791b88c970 00007ffd844a1b31 System.Net.Sockets.NetworkStream.Read(Byte[], Int32, Int32)
000000791b88ee80 00007ffd849e6f8a System.IO.BufferedStream.ReadByteSlow()
000000791b88eeb0 00007ffd8312950a RabbitMQ.Client.Impl.InboundFrame.ReadFrom(System.IO.Stream, Byte[])
000000791b88ef40 00007ffd849e6d7d RabbitMQ.Client.Framing.Impl.Connection.MainLoopIteration()
000000791b88efa0 00007ffd8312832f RabbitMQ.Client.Framing.Impl.Connection.MainLoop()HResult: 80131620

从堆栈信息来看,程序做了一个远程访问 RabbitMQ,结果 tcp 连接被对方关闭了,貌似和朋友说的有大量 RabbitMQ 超时有关。

接下来就是查看各个线程栈,研究下此时这些线程都在干什么,使用 ~*e !clrstack 命令,通过仔细研读线程栈,我发现有大量的方法卡在 xxx.RabbitMq.RabbitMqConnection.GetInstance 方法处。

Child SP               IP Call Site
0000008B8A9ED6A8 00007ffdf5246594 [HelperMethodFrame_1OBJ: 0000008b8a9ed6a8] System.Threading.Monitor.ReliableEnter(System.Object, Boolean ByRef)
0000008B8A9ED800 00007ffd84a6a4a9 xxx.RabbitMq.RabbitMqConnection.GetInstance(Microsoft.Extensions.Options.IOptions`1<xxx.RabbitMq.RabbitMqConfig>, Microsoft.Extensions.Logging.ILogger`1<System.Object>)
0000008B8A9ED860 00007ffd84a6a317 xxx.RabbitMq.RabbitMqProducer..ctor(Microsoft.Extensions.Options.IOptionsSnapshot`1<xxx.RabbitMq.RabbitMqConfig>, Microsoft.Extensions.Logging.ILogger`1<xxx.RabbitMq.RabbitMqProducer>)
0000008B8A9ED8A0 00007ffd8334817b DynamicClass.ResolveService(ILEmitResolverBuilderRuntimeContext, Microsoft.Extensions.DependencyInjection.ServiceLookup.ServiceProviderEngineScope)
0000008B8A9ED930 00007ffd83347d76 DynamicClass.ResolveService(ILEmitResolverBuilderRuntimeContext, Microsoft.Extensions.DependencyInjection.ServiceLookup.ServiceProviderEngineScope)
0000008B8A9EDE90 00007ffd844f3cb3 Microsoft.Extensions.DependencyInjection.ActivatorUtilities.GetService(System.IServiceProvider, System.Type, System.Type, Boolean) [/_/src/libraries/Common/src/Extensions/ActivatorUtilities/ActivatorUtilities.cs @ 173]
DynamicClass.lambda_method196(System.Runtime.CompilerServices.Closure, System.IServiceProvider, System.Object[])
0000008B8A9EDF20 00007ffd84a0fc9c Microsoft.AspNetCore.Mvc.Controllers.ControllerFactoryProvider+c__DisplayClass5_0.g__CreateController|0(Microsoft.AspNetCore.Mvc.ControllerContext)
0000008B8A9EDF70 00007ffd8452ce7f Microsoft.AspNetCore.Mvc.Infrastructure.ControllerActionInvoker.Next(State ByRef, Scope ByRef, System.Object ByRef, Boolean ByRef) [/_/src/Mvc/Mvc.Core/src/Infrastructure/ControllerActionInvoker.cs @ 285]
0000008B8A9EE030 00007ffd84a0fac8 Microsoft.AspNetCore.Mvc.Infrastructure.ControllerActionInvoker.InvokeInnerFilterAsync() [/_/src/Mvc/Mvc.Core/src/Infrastructure/ControllerActionInvoker.cs @ 490]
0000008B8A9EE0B0 00007ffd845346cd Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.Next(State ByRef, Scope ByRef, System.Object ByRef, Boolean ByRef) [/_/src/Mvc/Mvc.Core/src/Infrastructure/ResourceInvoker.cs @ 883]
0000008B8A9EE240 00007ffd84a0f9ad Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.InvokeNextExceptionFilterAsync() [/_/src/Mvc/Mvc.Core/src/Infrastructure/ResourceInvoker.cs @ 1024]
0000008B8A9EE2C0 00007ffd84534272 Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.Next(State ByRef, Scope ByRef, System.Object ByRef, Boolean ByRef) [/_/src/Mvc/Mvc.Core/src/Infrastructure/ResourceInvoker.cs @ 883]
0000008B8A9EE450 00007ffd84a0f850 Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.InvokeNextResourceFilter() [/_/src/Mvc/Mvc.Core/src/Infrastructure/ResourceInvoker.cs @ 976]
...

从调用栈信息看,源头是一个http请求,然后在 GetInstance 下的 lock 处被冻结,这就激发了我很大的好奇心,接下来根据 IP 导出源码看看。

public sealed class RabbitMqConnection
{public static RabbitMqConnection GetInstance(IOptions<RabbitMqConfig> options, ILogger<dynamic> logger){if (_uniqueInstance == null || _uniqueInstance.Connection == null || !_uniqueInstance.Connection.IsOpen){lock (_objLock){if (_uniqueInstance == null || _uniqueInstance.Connection == null || !_uniqueInstance.Connection.IsOpen){_uniqueInstance = new RabbitMqConnection(options.Value, logger);}}}return _uniqueInstance;}private RabbitMqConnection(RabbitMqConfig config, ILogger<dynamic> logger){Policy.Handle<SocketException>().Or<BrokerUnreachableException>().WaitAndRetry(6, (int retryAttempt) => TimeSpan.FromSeconds(1.0), delegate (Exception ex, TimeSpan time, int retryCount, Context content){if (6 == retryCount){throw ex;}_logger.LogError(ex, $"{retryCount}:{ex.Message}");}).Execute(delegate{Connection = factory.CreateConnection();});}
}

从代码逻辑看,朋友用了 双检锁 来给 RabbitMQ 实例做单例化,如果实例创建失败还会有 6 次 1s 的尝试,这种写法乍一看没什么问题。

2. 单例写法真的没问题吗

如果单例写法没问题的话,为什么有大量的线程卡在 lock 处呢?既然是 单例 那肯定是 rabbitmq 第一次被实例化后,后人直接乘凉就好了哈,带着这个疑问再次检查 双检索 写法,尼玛,在判断单例的时候居然做了 _uniqueInstance.Connection.IsOpen 判断,大家知道这意味着什么吗?

这意味着,一旦 rabbitmq 在某个时刻挂掉了,单例条件就被破防了,无数的线程排队来做 RabbimtMQ 的实例化,要知道这都是些不实例出来不罢休的勇士,继而导致程序挂死...🤣🤣🤣

3. 验证我的想法

既然从源码中推出了这个代码缺陷,但口说无凭,我得拿出证据,要想验证很简单,到托管堆寻找 RabbitMqConnection 实例,看下此时它的 IsOpen 是不是 false 即可, 通过 ILSpy 查看源码发现它是用 CloseReason==null 来判断的。

7d5681f77ab410ded6139d1a47c92ec1.png

接下来看看 CloseReason 不为空即可。

0:000> !dumpheap -type RabbitMqConnectionAddress               MT     Size
00000277cbd7aa68 00007ffd831f1570       32  
00000277ccb13068 00007ffd831f1570       32   0:000> !DumpObj /d 00000277cbd7b858
Name:        RabbitMQ.Client.Framing.Impl.AutorecoveringConnection
MethodTable: 00007ffd83235db0
EEClass:     00007ffd83242898
Size:        200(0xc8) bytes
File:        G:\xxx\RabbitMQ.Client.dll
Fields:MT    Field   Offset                 Type VT     Attr            Value Name
00007ffd82397238  4000180       bc       System.Boolean  1 instance                0 _disposed
00007ffd82390c68  4000181        8        System.Object  0 instance 00000277cbd7b920 _eventLock
00007ffd831fc230  4000182       10 ...g.Impl.Connection  0 instance 00000277cbd7d5f8 _delegate0:000> !DumpObj /d 00000277cbd7d5f8
Name:        RabbitMQ.Client.Framing.Impl.Connection
MethodTable: 00007ffd831fc230
EEClass:     00007ffd8322cd70
Size:        232(0xe8) bytes
File:        G:\xxx\RabbitMQ.Client.dll
Fields:MT    Field   Offset                 Type VT     Attr            Value Name
00007ffd82397238  4000198       b8       System.Boolean  1 instance                0 _disposed
00007ffd82390c68  4000199        8        System.Object  0 instance 00000277cbd7d6e0 _eventLock
00007ffd82d93d00  400019a       10 ...ualResetEventSlim  0 instance 00000277cbd7d6f8 _appContinuation
00007ffd83276028  400019b       18 ...ShutdownEventArgs  0 instance 00000279ccc56e28 _closeReason0:000> !do 00000277ccb13068
Name:        xxx.RabbitMq.RabbitMqConnection
MethodTable: 00007ffd831f1570
EEClass:     00007ffd831eb920
Size:        32(0x20) bytes
File:        G:\xxx\xxx.dll
Fields:MT    Field   Offset                 Type VT     Attr            Value Name
00007ffd831f13f8  400001f        8 ...Private.CoreLib]]  0 instance 00000278cbe4c2a0 _logger
00007ffd831f2ab0  4000020       10 ...lient.IConnection  0 instance 0000000000000000 <Connection>k__BackingField
00007ffd831f1570  400001d        8 ...abbitMqConnection  0   static 00000277cbd7aa68 _uniqueInstance
00007ffd82390c68  400001e       10        System.Object  0   static 00000277cbd7aa50 _objLock

从输出信息中可以很清楚的看到当前托管堆有两个 RabbitMqConnection 对象,其中一个果然是失败了(_closeReason=00000279ccc56e28),还有一个正在努力的new <Connection>k__BackingField=0000000000000000, 这也就验证了假设。

4. 后续

有了这些信息,和朋友做了下沟通,建议再优化一下 IsOpen=false 时的异常处理逻辑,比如 return 或者 throw new,或者干脆不要用懒检测, 千万不要硬着来。

至于造成 RabbitMQ 不响应的一系列诱因,朋友通过参考的开源项目,发现将别人的 AddSingleton 改成了 AddScoped

2b896f6cfbcdb255619905f98be6fa15.png

这也就造成了每一次Http请求都要试探性的判断单例逻辑, 别人的解法是一旦上层单例化了,下层就不会再次处理了,也就不会走 IsOpen 逻辑。

三:总结

造成本次程序卡死的事故,主要有两点:

  1. RabbitMQ 生成单例化中的 IsOpen 判断问题,建议改用自动重连属性 AutomaticRecoveryEnabledTopologyRecoveryEnabled,或者用静态构造函数替代双检锁

  2. 过多的 http 请求对单例逻辑的试探,按照朋友的改发将 Scoped 改成 Singleton 来规避。

END

工作中的你,是否已遇到 ... 

1. CPU爆高

2. 内存暴涨

3. 资源泄漏

4. 崩溃死锁

5. 程序呆滞

等紧急事件,全公司都指望着你能解决...  危难时刻才能展现你的技术价值,作为专注于.NET高级调试的技术博主,欢迎微信搜索: 一线码农聊技术,免费协助你分析Dump文件,希望我能将你的踩坑经验分享给更多的人。

ea0a82233c05ca8cf32b53d7d12cd94f.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/294569.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android之OKHttp使用总结

介绍: OkHttp是一个高效的HTTP库: 持 SPDY ,共享同一个Socket来处理同一个服务器的所有请求如果SPDY不可用,则通过连接池来减少请求延时无缝的支持GZIP来减少数据流量缓存响应数据来减少重复的网络请求 会从很多常用的连接问题中自动恢复。如果您的服务器配置了多个IP地址…

CSS:CSS 在工程中改变——面向对象的CSS (OO CSS)

一、OO CSS 的概念解读 &#xff08;一&#xff09;众多开发者忽视了CSS的表现&#xff0c;认为其太过简单&#xff0c;是一种机械的工作&#xff0c;而把更多关注在JS的性能或者其他方面。 &#xff08;二&#xff09;OO CSS 将页面可重用元素抽象成一个类&#xff0c;用clas…

Vlan和vtp重要的配置命令

1、 duplex &#xff08;full half auto&#xff09;配置以太口双工属性2、 speed工作速率3、 switch mode access改端口为访问模式4、 switch access vlan 2把端口划分到vlan25、 switch port-security打开端口安全功能6、 switch port-security maximum 1 允许MAC条目最大17、…

开车走吗?朋友......

1 冬天出门有多难&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼2 这张图你们明白了什么&#xff1f;&#xff08;素材来源网络&#xff0c;侵删&#xff09;▼3 奥特曼不用吃饭&#xff08;via.杰克波比&#xff0c;侵删&#xff09;▼4 为什么没人敢动孟婆&…

Ubuntu 下配置 NFS

1、安装 NFS 服务sudo apt-get install nfs-kernel-server 2、修改 NFS 配置文件vi /etc/exports 在文件中添加 NFS 的目录 /nfsboot *(rw,sync) 更改了/etc/exports 后要通过 sudo exportfs -r 来更新这个文件 3、在根目录下建立 NFS 的目录sudo mkdir /nfsboot 修改该目录的…

WPF中使用资源

这节讲一下如何在WPF中使用资源。01了解资源在编程中&#xff0c;一个变量&#xff0c;一段代码&#xff0c;一张图片&#xff0c;一段视频或者音频&#xff0c;这种可以拿来为我所用的东西就可以称之为资源&#xff0c;一个让人眼前一亮的程序&#xff0c;可能会使用到许许多多…

生成二维码的 jQuery 插件:jquery.qrcode.js

jquery.qrcode.js 是一个纯浏览器 生成 QRcode 的 jQuery 插件&#xff0c;它使用非常简单&#xff0c;生成的 QRcode 无需下载图片&#xff0c;并且不依赖第三方服务&#xff0c;比如最近 Google 服务在国内访问不稳就造成我好几个网站的 QRcode 不能使用&#xff0c;并且压缩…

java 中时间计算_java中关于时间的计算

1.描述&#xff1a;在原有时间上增加一个时间差&#xff1a;代码示例&#xff1a;Date psd sysDate();String workTimeP1 mapP.get("WORK_TIME_") ! null ? mapP.get("WORK_TIME_").toString() : "0";int newsInteger.parseInt(workTimeP1)*6…

Android之JNI的使用

转载&#xff1a;http://blog.csdn.net/zeng622peng/article/details/6675666 首先说明&#xff0c;Android系统不允许一个纯粹使用C/C的程序出现&#xff0c;它要求必须是通过Java代码嵌入Native C/C——即通过JNI的方式来使用本地&#xff08;Native&#xff09;代码。因此J…

OpenJudge计算概论-最长单词2

/* 最长单词2 总时间限制: 1000ms 内存限制: 65536kB 描述 一个以.结尾的简单英文句子&#xff0c;单词之间用空格分隔&#xff0c;没有缩写形式和其它特殊形式输入 一个以.结尾的简单英文句子&#xff08;长度不超过500&#xff09;&#xff0c;单词之间用空格分隔&#xff0c…

清华放大招!竟然连初三学生都招,一条龙培养到博士,还不准转专业......

全世界只有3.14 % 的人关注了爆炸吧知识提前5年博士毕业近日&#xff0c;清华大学本科招生网发布了一则重要公告——《清华大学2021年丘成桐数学科学领军人才培养计划招生办法》。在这则公告中&#xff0c;初三生&#xff0c;你没看错&#xff0c;是没有参加过中考、高考的初三…

一键生成Vue.js + Web API前后端集成项目

前言默认情况下&#xff0c;Visual Studio提供了“基于Vue.js Web 应用程序”项目模板&#xff0c;可以生成Vue.js前端项目。你需要另外创建Web API项目&#xff0c;调试时需要同时启动2个项目&#xff0c;然后还要解决前后端集成带来的问题&#xff0c;比如跨域访问。如果&…

java多线程数据采集_java多线程采集+线程同步

前些日子讲解了java数据抓取&#xff0c; 今天就讲解最核心的。 java多线程数据抓取。java多线程采集数据同步线程同步【多线程数据采集之四】主要讲解多线程抓取&#xff0c;多线程同步&#xff0c;多线程启动&#xff0c;控制等操作。先讲解第一步&#xff0c;线程类。 核心…

【LINUX学习】链接文件

linux下的连接文件和windows下的快捷方式有点像。不过linux 下有硬链接和软链接两种。硬链接&#xff1a;是在某个目录下新增一个源链接文件的关联数据。比如 为/etc/passwd 创建一个硬链接/tmp/passwd-hd 其实就是这两个文件是同一个文件&#xff0c;通过etc 目录中的passwd …

链表之反转部分单向链表

package com.chenyu.zuo.linkedList;import com.chenyu.zuo.linkedList.RemoveByRatio.Node;/*** 题目:给定一个单向链表的头结点head,以及两个整数from和to* ,在单项链表上把第from个节点和第to个节点这一部分进行反转* 列如:* 1->2->3->4->5->null,from=2,t…

【DB2学习文档之七】SQL for DB2

作者&#xff1a;gnuhpc 出处&#xff1a;http://www.cnblogs.com/gnuhpc/ 1.SQL的数据操作语言data manipulation language (DML) 参见Beginning SQL Queries: From Novice to Professional, by Clare Churcher (Apress, 2008) 2.Select语句 这个语句是DB2中最简单也最复杂的语…

这些让人看瞎了的设计!实力证明,谁才是世界的最终boss!

全世界只有3.14 % 的人关注了爆炸吧知识我瞎了也懵了昨天知识君刷微博&#xff0c;看到了一组动图&#xff0c;一时间我都不知道是我的眼睛出了错&#xff0c;还是我的大脑反应不过来。奇了怪了&#xff01;怎么箭头反转了180后&#xff0c;还是原样&#xff01;问题到底出在哪…

如何实现 asp.net core 安全优雅退出 ?

咨询区 AppDeveloper我想问一个老生常谈的问题&#xff0c;如何可以保证程序优雅的退出&#xff0c;这里用 优雅 的目的是因为我想在退出之前做一些小动作。用户场景&#xff1a;希望在程序退出之前可以从 Consul 上解注册, 下面是我的模板代码。public static IWebHostBuilder…

持续集成之配置TeamCity

离开上个东家差不多有一年半的时间了&#xff0c;这一年半更多的还是在学习&#xff0c;或者说更多的是在收拾前辈们写的代码&#xff0c;其中的酸甜苦辣只有经历过的人才知道&#xff0c;想想还是上个东家好&#xff0c;软件研发的流程很规范&#xff0c;各种配套的工具都是现…

java 上传文件编码_(java)有什么办法把MultipartFile上传的文件转为utf-8的编码吗

[Java] 纯文本查看 复制代码import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.tika.Tika;import org.apache.tika.detect.AutoDetectReader;import org.apache.tika.exception.TikaExc…