记一次 .NET 某云采购平台API 挂死分析

一:背景

1. 讲故事

大概有两个月没写博客了,关注我的朋友应该知道我最近都把精力花在了星球,这两个月时间也陆陆续续的有朋友求助如何分析dump,有些朋友太客气了,给了大大的红包,哈哈????,手里面也攒了10多个不同问题类型的dump,后续也会逐一将分析思路贡献出来。

这个dump是一位朋友大概一个月前提供给我的,由于wx里面求助的朋友比较多,一时也没找到相关截图,不得已破坏一下老规矩。????????????

既然朋友说api接口无响应,呈现了hangon现象,从一些过往经验看,大概也只有三种情况。

  • 大量锁等待

  • 线程不够用

  • 死锁

有了这种先入为主的思想,那就上windbg说事呗。

二:windbg 分析

1. 有大量锁等待吗?

要想看是否锁等待,老规矩,看一下 同步块表


0:000> !syncblk
Index SyncBlock MonitorHeld Recursion Owning Thread Info  SyncBlock Owner
-----------------------------
Total           1673
CCW             3
RCW             4
ComClassFactory 0
Free            397

扑了个空,啥也没有,那就暴力看看所有的线程栈吧。

不看还好,一看吓一跳,有339个线程卡在了 System.Threading.Monitor.ObjWait(Boolean, Int32, System.Object) 处,不过转念一想,就算有339个线程卡在这里,真的会导致程序hangon吗?也不一定,毕竟我看过有1000+的线程也不会卡死,只不过cpu爆高而已,接下来继续研判一下是不是线程不够用导致,可以从 线程池任务队列 上面入手。

2. 探究线程池队列

可以用 !tp 命令查看。


0:000> !tp
CPU utilization: 10%
Worker Thread: Total: 328 Running: 328 Idle: 0 MaxLimit: 32767 MinLimit: 4
Work Request in Queue: 74Unknown Function: 00007ffe91cc17d0  Context: 000001938b5d8d98Unknown Function: 00007ffe91cc17d0  Context: 000001938b540238Unknown Function: 00007ffe91cc17d0  Context: 000001938b5eec08...Unknown Function: 00007ffe91cc17d0  Context: 0000019390552948Unknown Function: 00007ffe91cc17d0  Context: 0000019390562398Unknown Function: 00007ffe91cc17d0  Context: 0000019390555b30
--------------------------------------
Number of Timers: 0
--------------------------------------
Completion Port Thread:Total: 5 Free: 4 MaxFree: 8 CurrentLimit: 4 MaxLimit: 1000 MinLimit: 4

从输出信息看,线程池中328个线程全部打满,工作队列中还有74位客人在等待,综合这两点信息就已经很清楚了,本次hangon是由于大量的客人到来超出了线程池的接待能力所致。

3. 接待能力真的不行吗?

这个标题我觉得很好,真的不行吗?到底行不行,可以从两点入手:

  • 是不是代码写的烂?

  • qps是不是真的超出了接待能力?

要想找出答案,还得从那 339 个卡死的线程说起,仔细研究了下每一个线程的调用栈,大概卡死在这三个地方。

<1>. GetModel


public static T GetModel<T, K>(string url, K content)
{T result = default(T);HttpClientHandler httpClientHandler = new HttpClientHandler();httpClientHandler.AutomaticDecompression = DecompressionMethods.GZip;HttpClientHandler handler = httpClientHandler;using (HttpClient httpClient = new HttpClient(handler)){string content2 = JsonConvert.SerializeObject((object)content);HttpContent httpContent = new StringContent(content2);httpContent.Headers.ContentType = new MediaTypeHeaderValue("application/json");string mD5ByCrypt = Md5.GetMD5ByCrypt(ConfigurationManager.AppSettings["SsoToken"] + DateTime.Now.ToString("yyyyMMdd"));httpClient.DefaultRequestHeaders.Add("token", mD5ByCrypt);httpClient.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json"));HttpResponseMessage result2 = httpClient.PostAsync(url, httpContent).Result;if (result2.IsSuccessStatusCode){string result3 = result2.Content.ReadAsStringAsync().Result;return JsonConvert.DeserializeObject<T>(result3);}return result;}
}

<2>. Get

public static T Get<T>(string url, string serviceModuleName)
{try{T val3 = default(T);HttpClient httpClient = TryGetClient(serviceModuleName, true);using (HttpResponseMessage httpResponseMessage = httpClient.GetAsync(GetRelativeRquestUrl(url, serviceModuleName, true)).Result){if (httpResponseMessage.IsSuccessStatusCode){string result = httpResponseMessage.Content.ReadAsStringAsync().Result;if (!string.IsNullOrEmpty(result)){val3 = JsonConvert.DeserializeObject<T>(result);}}}T val4 = val3;val5 = val4;return val5;}catch (Exception exception){throw;}
}

<3>. GetStreamByApi


public static Stream GetStreamByApi<T>(string url, T content)
{Stream result = null;HttpClientHandler httpClientHandler = new HttpClientHandler();httpClientHandler.AutomaticDecompression = DecompressionMethods.GZip;HttpClientHandler handler = httpClientHandler;using (HttpClient httpClient = new HttpClient(handler)){httpClient.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/octet-stream"));string content2 = JsonConvert.SerializeObject((object)content);HttpContent httpContent = new StringContent(content2);httpContent.Headers.ContentType = new MediaTypeHeaderValue("application/json");HttpResponseMessage result2 = httpClient.PostAsync(url, httpContent).Result;if (result2.IsSuccessStatusCode){result = result2.Content.ReadAsStreamAsync().Result;}httpContent.Dispose();return result;}
}

4. 寻找真相

上面我罗列的这三个方法的代码,不知道大家可看出什么问题了?对,就是 异步方法同步化,这种写法本身就很低效,主要表现在2个方面。

  • 开闭线程本身就是一个相对耗费资源和低效的操作。

  • 频繁的线程调度给了cpu巨大的压力

而且这种写法在请求量比较小的情况下还看不出什么问题,一旦请求量稍大一些,马上就会遇到该dump的这种情况。

三:总结

综合来看这次hangon事故是由于开发人员 异步方法不会异步化 导致,改法很简单,进行纯异步化改造 (await,async),解放调用线程,充分利用驱动设备的能力。

这个dump也让我想起了 CLR Via C# 书中(P646,647) 在讲用 await,async 来改造 同步请求 的例子 。

我觉得这个dump就是该例子的最好佐证!????????????

END

工作中的你,是否已遇到 ... 

1. CPU爆高

2. 内存暴涨

3. 资源泄漏

4. 崩溃死锁

5. 程序呆滞

等紧急事件,全公司都指望着你能解决...  危难时刻才能展现你的技术价值,作为专注于.NET高级调试的技术博主,欢迎微信搜索: 一线码农聊技术,免费协助你分析Dump文件,希望我能将你的踩坑经验分享给更多的人。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/300136.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

来自女朋友的灵魂拷问!| 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅【1】【2】【3】【4】【5】【6】【7】【8】【9】

android 栏目编辑,android – 编辑文本导致内存泄漏

介绍&#xff1a;我有一个应用程序具有以下结构&#xff1a;ActionBar顶部(ActionBarSherlock)ViewPagerIndicator下面(对于选项卡)ViewPager(主机片段)我有一个问题,我的一个碎片导致了相当大的内存泄漏.我将问题缩小到以下情况&#xff1a;导致泄漏的片段只会在其onCreateVie…

Spring 事物传播特性

Spring 事物传播特性 这是Spring官方的定义 一共有7种 摘自源码省略了一部分 public interface TransactionDefinition {int PROPAGATION_REQUIRED 0;int PROPAGATION_SUPPORTS 1;int PROPAGATION_MANDATORY 2;int PROPAGATION_REQUIRES_NEW 3;int PROPAGATION_NOT_SUPPORT…

6月,回忆我失去的爱情

6月&#xff0c;夏天早已到来 自4月起&#xff0c;我一直放荡着。这个我在上个文章里已提到&#xff0c;哈哈 放荡两个月后&#xff0c;我回想我自己的爱情 我想明白为什么我会失去自己的爱情&#xff0c;哈哈 终于明白了是为什么&#xff0c;其实失去的这样的简单 我承认我有错…

《你必须知道的.NET》第1章学习笔记

面向对象中几个最基本的概念&#xff1a;类&#xff0c;对象&#xff0c;继承&#xff0c;封装和多态。 对象的出生&#xff0c;只是完成了对必要字段的初始化&#xff0c;其他数据要通过后面的操作来完成&#xff0c;如&#xff1a;属性的赋值&#xff0c;通过方法获取必要信息…

利用 PGO 提升 .NET 程序性能

引子.NET 6 开始初步引入 PGO。PGO 即 Profile Guided Optimization&#xff0c;通过收集运行时信息来指导 JIT 如何优化代码&#xff0c;相比以前没有 PGO 时可以做更多以前难以完成的优化。下面我们用 .NET 6 的 nightly build 版本 6.0.100-rc.1.21377.6 来试试新的 PGO。PG…

不作死就不会死,盘点那些死于自己发明的发明家

全世界只有3.14 %的人关注了青少年数学之旅还有他们死于自己的发明发明呼吸器&#xff1a;缺氧死亡 1772年&#xff0c;法国人希厄尔弗莱米奈特发明了可用于潜水的循环式再呼吸器&#xff0c;让呼出的气体实现循环。这是世界上第一个自持呼吸装置。不幸的是&#xff0c;弗莱米奈…

CIO们对数据中心虚拟化心存的六大疑虑

本文摘自&#xff1a;[url]http://industry.ccidnet.com/art/3915/20070428/1072803_1.html[/url] 巴塞罗那超级计算中心 数据中心虚拟化正在势不可挡地迅猛发展&#xff0c;据IDC预测&#xff0c;到2009年&#xff0c;虚拟化市场将在全球范围内将增长150亿美元。有专家预言&am…

启动Tomcat一闪而过解决

打开apache-tomcat-6.0.32/bing/catalina.bat在首行添加&#xff1a; set JAVA_HOMEC:\Program Files\Java\jdk1.6.0_07 就可以了。

android gdb 远程调试工具,Android下用gdb远程调试办法

Host: ubuntuTarget: Android ICS1. 将gdbserver和gdbclient分别放入target和host。两者都可在android源代码的prebuilt目录下找到。2. 在Target上启动gdbserver&#xff0c;在adb shell中执行$ /path/to/gdbserver :1111--attach PID其中PID为想要debug程序的进程号&#xff0…

如何在Domino中使用文本文件注册用户

具体的步骤如下&#xff1a; 1。先用以下的格式创建一个文本文件&#xff08;每个用户一行&#xff09;: ZhangSan;;;;passw0rd;e:\id\603server;zhangsan.id;603server/r6domain;;zhangsan.nsf;;;;;;;;;;;; LiSi;;;;passw0rd;e:\id\603server;lisi.id;603server/r6domain;;lis…

C# 对接微信支付时生成符合 RFC3339 标准的日期时间字符串

rfc3339 是一种包含时区信息的字符串标准格式。格式为YYYY-MM-DDTHH:mm:ssTIMEZONE&#xff0c;YYYY-MM-DD表示年月日&#xff0c;T出现在字符串中&#xff0c;表示time元素的开头&#xff0c;HH:mm:ss表示时分秒&#xff0c;TIMEZONE表示时区&#xff08;08:00表示东八区时间&…

盘点那些世间顶级直男hhhhhh | 今日最佳

全世界只有3.14 % 的人关注了青少年数学之旅【1】【2】【3】【4】【5】【6】【7】【8】【9】

android的单选按钮xml语法,android 控件 单项选择(RadioGroup,RadioButton)

1、继承关系和子类&#xff1a;2、定义&#xff1a;RadioButton表示单个圆形单选框&#xff0c;而RadioGroup是可以容纳多个RadioButton的容器3、XML重要属性&#xff1a;4、重要方法&#xff1a;5、实战&#xff1a;布局文件android:layout_width"wrap_content"andr…

.net项目开发工具(v2.0)功能完善专帖

首先&#xff0c;感谢你对本软件的支持。如果你有好的建议和要求&#xff0c;请记录于此&#xff0c;谢谢&#xff01; 原文&#xff1a;http://www.cnblogs.com/mrhgw/archive/2007/06/04/770278.html?Pendingtrue#Post

CVE(Common Vulnerabilities and Exposures通用漏洞披露)笔记

产生背景&#xff1a;目前实时入侵检测和漏洞扫描评估基于的主要方法还是“已知入侵手法检测”和“已知漏洞扫描”&#xff0c;即基于知识库的技术&#xff0c;因此决定一个IDnA&#xff08;Intrusion Detection and Assessment 实时入侵检测和漏洞扫描评估&#xff09;技术和产…

[006] 了解 Roslyn 编译器

维基百科对编译器的解释是&#xff1a;编译器是一种程序&#xff0c;它将某种编程语言编写的源代码(原始语言)转换成另一种编程语言(目标语言)。编译是从源代码(通常为高阶语言)到能直接被计算机或虚拟机执行的目标代码(通常为低阶语言或机器语言)的翻译过程。在 .NET 平台中&a…

arcengine 将地图文件保存为图片(包括各种图片格式)

1&#xff0c;最近做了个地图文件输出图片的功能&#xff0c;思想主要就是利用MapControl的ActiveView中的out方法&#xff1a; 2代码如下&#xff1a;欢迎交流指正 1 SaveFileDialog m_save new SaveFileDialog();2 m_save.Filter "jpeg图片(*…

这个让人看跪了的设计!实力证明,数学才是世界的最终boss!

全世界只有3.14 %的人关注了青少年数学之旅最近&#xff0c;有不少购买了年度数学艺术礼盒《数学之旅闪耀人类的54个数学家》的小伙伴&#xff0c;已经按捺不住内心的激动&#xff1a;但超模君秉承着“慢工出细活”的态度&#xff0c;多次亲自到工厂对扑克牌的细节进行把关&…

android 版本28 通知栏图标,【专题分析】应用图标、通知栏适配

# 应用图标适配## 新规范Android8.0开始&#xff0c;应用程序的图标分为了两层&#xff1a;前景层和背景层&#xff0c;前景用来展示应用图标的Logo&#xff0c;背景用来衬托应用图标的Logo&#xff0c;(背景层在设计的时候只允许定义颜色和纹理&#xff0c;但是不能定义形状)。…