.NET遗留应用改造——性能优化篇

由于各种原因我们总是要与公司各种老项目打交道。天有不测风云,谁也不知道这坨屎山会从哪个方向把你的嘴塞的满满的,还不让你吐出来。既然如此...那只能细嚼慢咽的吞下去吧。

说实在话,只要业务不死,那些老大伯项目就还有价值。更何况这个本就没什么人关注的项目突然被公司高层盯住了。说好几个客户都会用到这个系统,并且必须要做好压测工作,不能有任何闪失。

然后这项工作任务就毫无征兆的落在我手上了,改造优化时间不到一周。既然如此,那就只好硬着头皮上了。

项目整体

整个项目很“老”,用的技术栈是 .net4.5 + 多层架构 + sqlsugar + mssql。为什么”老“要加引号呢?因为我很难想象这个项目只是3年前的项目(:摊手)。其中orm——sqlsugar我已经找不到开源的项目地址了(用的仅仅是静态dll),里面有很多写法我都找不到文档了。没关系,又不能不能用,我只要参照之前的写法不动就行了。

那么再来说现在这个项目要进行”手术“的地方:

首当其冲的就是目前这个项目经过测试人员压测,200并发,持续半小时以及100并发,增量并发到200持续1小时的压测结果是......

不到20吞吐量,CPU一直100%。根据目前产品给出的用户量,至少要达到120吞吐量。得到这个消息的我,当时人都麻了......真不夸张。我一度认为我要“死”在这个项目中了。

剖析项目

一边看代码一边骂人的过程就不说了,相信大家都是这么过来的。接下来要做的就是熟悉代码以及代码下的业务场景。涉及优化的业务场景看起来很简单,就是给定一个码,系统接收校验真伪,然后进行激活使用。

在经过非常艰辛的和跟我一样不熟悉这个业务的产品经理沟通下,确定业务方的需求和目的之后,剩下就是真正实施了。

代码层优化

首先我从最简单的开始着手,就是code review。找出能一眼看出问题的点,结果仅仅只是几处f12,就让我找到了”几坨屎“,虽然不愿意,但我还是只能捂着鼻子强迫自己掰开看看究竟。

层与层之间调用关系混乱

因为是多层,所以有BLL,DAL,Model三层。DAL引用ORM组建以及缓存组建,BLL引用DAL。DAL引用DBInstance。在实际查看中,我发现虽然BLL引用DAL,但是除了引用DAL之外,又初始化了DBInstance。缓存组建也是如此。在实际调用中,多次重复打开数据库连接以及缓存连接,这无疑是一笔不小的开销,而且还没有任何意义

看到这个我要做就是优化层之间的调用结构。本着对老项目最小更改原则,我重新建了ActivationBll和ActivationDal文件,去掉多余的对象以及无用的IO连接。

代码逻辑的一把嗦

往下就是具体代码问题了,首先我就在原来的OldActivationBLL文件中看到如下代码:

// OldActivationBll.cs
private List<T1> global_fields1;	// 
private List<T2> global_fields2; //
private T3 field3;
...private void InitData(string code) {var dataset = dal.GetInitData(code);global_fields1 = dataset[0];global_fields2 = dataset[1];T3 = dataset[2];...
}public void Activate(string code) {// 略过判断InitData(code);// 引用类全局变量进行各种操作field3.Property1 = ...;...
}

有很多细节我都忽略了,大致就是现在一个类中定义一堆变量,然后在InitData方法中对这些变量一一赋值。这样在其它地方,我都可以任意调用这些变量了。

这种有什么问题呢?其实这种webform式的写法对程序运行结果没太大的影响。只是我个人不喜欢这种编程模式了,因为这样非常容易造就意大利面条式的混乱。让人看的非常头痛,维护起来很苦难。特别是换人之后,因为类全局变量哪里都能被修改,不熟的人很容易导致非预期的结果与错误。

当我正阅读代码并尝试优化这种结果时,发现事情并不是那么简单。

这是dal.GetInitData的代码

// OldActivationDal.cs
public DataSet GetInitData(string code)
{string sql = @"declare @code nvarchar(250)
declare @bid int
declare @aid int
declare @usedId uniqueidentitfier
declare ...
select top 1 * from table1 where code=@code
select @bid = bid, @aid= aid from table1 inner join table2 on ...
select ...
-- 此处省略余下10几行select";var dbset = dbhelper.ExecuteDataSet(sql, new parameter[] { ...});return dbset;
}

看到这里是不是很惊讶,我当时是震惊的。我当时的反应是正常人应该不会这么写吧。这真是“一把嗦”的写法,把所有业务场景用到的前置对象一次性查出来赋值给对应的字段,然后有需要的就引用这些对象。这个方法的引用数是12......。

毫无疑问,这种写法问题很大,因为将多种业务场景的数据一次性查出来,也不管到底用不用得上,这是种对资源的绝对浪费。况且这对于数据库来说也是很大的浪费,因为将多个语句合并成了一个大事务执行

这种优化手段就简单了,就是将一个大事务的sql语句,拆分成多个小事务的sql语句。不偷懒,多写几个方法按需给对象赋值。

这里面还有一个优化点是用到了缓存,在原来十几个sql查询中,还有3个查询语句是基础数据(如渠道以及资源等一些基础数据)。

具体代码错误

前面提到的都还是设计上与流程的问题,还有一些明显的错误就是属于代码的写法错误了。在做了上面的改造措施之后,在我自己的本机做了同样的压测,结果令人尴尬。吞吐量只有100左右。这明显在我的意料之外的,这说明我优化效果不好。然后我继续详细找代码的问题,同时我写了个慢查询语句给db同事查看,让其导出测试同学压测的那个时间段的结果。期间还真让我发现了一些比较明显的问题,如下面的多任务写法:

List<Task> taskList = new List<Task>();
object lockObj = new object();
string[] requestIds = bookId.Split(",");
List<Resource> result = new List<Resource>();
foreach (var id in requestIds) {taskList.Add(Task.Factory.StartNew(delegate() {var resource = _resourceService.GetBookAsync(id).Result;if (resource != null) {lock (lockObj) {result.Add(r);}}}));
}
Task.WaitAll(taskList.ToArray());
return result;

大家来看下这段代码都有哪些问题呢?如何优化呢?这个后面我再给出我实际中的优化方法

数据库方面的优化

找不到其它明显的代码问题就开始着手是不是数据库,sql语句的问题了。

与此同时,db也已经把结果导出给到我了,好家伙,排名第一(最耗时)的就是前面我说的那个十几个查询合并为大事务的那个方法sql语句。紧追其后的就是另一个查询语句,就是查询该用户是否已经使用过该资源。该语句join了多个表,并且关联的表都是百万级数据量的,并且条件很多(有5个),写法如下

select a.Id,a.Code,a.Status,b.Type,a.ChannelId,c.ActivateTypeId,a.Bid,a.UserId,b.Name,d.Did,d.Dtype
from a
inner join b on a.Id = b.Id
inner join c on b.uid = c.uid
left join d on d.Bid = b.Id
where a.UserId = @userId and a.Bid = @bid and a.ChannelId = @channelId and a.Status = 1 and d.DeviceCode = @deviceCode;

看到这个语句的第一想法是什么?

语句有问题?NO,而是检查数据库对应的字段是否有索引,如果没有命中索引,则会导致全表扫描,特别还join的是大表。结果也让我有点失望,索引每个字断都建了。我随即断点将那些条件的值拼成sql语句到线上环境执行,结果发现速度非常慢,足足有15-30秒波动。想了大概几分钟,立马得出了一个结论——索引的问题,给目标字段建立索引针对这种情况效果不大,而是要针对这种热调用场景有针对性的建索引——即联合索引。我给a这个大表建立idx_UserId_Bid_ChannelId_Status的联合索引,然后去掉了无用的字段,这样就减少了要join的表和潜在的回表。建好之后再次执行,只用了300ms左右。

此时压测的结果已经提升到了200左右(真就无脑建索引就完事了!-_-!)。

其实除此之外,还有几个查询也是很慢的。就不细举例了,解决方案除了联合索引,还有一种优化手段是包含列的索引。这种手段常见于select子表join是非常有效果的,其目的是为了减少回表的次数,争取一次查询就能将数据在多叉树的节点上直接返回

总结

自此,完成这些改造手术之后的压测结果在我本机机器上是达到了200多吞吐。算是完成了领导临时交给我的任务吧。在部署到线上时,测试同学压测出来的结果到达了500。不过让我有点意外的是,技术总监还是毅然决定给服务器升配加负载。(小声嘀咕:我还以为可以减配呢)

那么总结这次的性能优化点可以简单的概括三点:

  • 架构层面(即分层要明确,减少重复的对象构造)

  • 代码层面(减少明显的编程常识错误,如尽量避免多任务共享变量;还有不要偷懒...)

  • 数据库层面(不要执行大的sql语句,要将大的拆成多个小事务sql语句,建对索引会省很多事)

关于具体实施,特别对手是老项目时,一定要本着“能不改原来的代码就不改为第一定律”。把这些老酒用新瓶包装起来。因为你永远也不知道你改动了其中一处地方,会给项目造成多大的伤害。

最后

在结束本文之前,我给出之前代码的优化版本。在优化之前我们先清楚代码有问题。

很明显的有两个问题:

  1. 多任务并行调用异步方法,在遍历中共享了result对象,并通过上锁添加方法返回的结果

  2. 直接调用了异步方法GetBookAsync.Result

这两点碰到一起了,这让本不富裕的服务器资源更是雪上加霜。

下面是我优化的版本

string[] requestIds = bookId.Split(",");
var taskList = new Task[requestIds.Length];
var result = new Resource[requestIds.Length];
for (int i = 0; i < requestIds.Length; i++) {var idx = i;taskList[idx] = Task.Run(() => {}).ContinueWith(t => {result[idx] = t.Result;});
}
Task.WaitAll(taskList);
return result.ToList();

这是我想到的优化的版本,这样既能做到无锁编程,又可以不用阻塞异步方法。硬要说其它的问题的话,那就是requestIds的数量是潜在的问题点,因为数量非常多的时候,这个时候就会给系统带来很大的负担,最终也会引起API服务或数据库宕机的情况。这个时候其实我们可以通过PLINQ解决这点,通过分区来取得最佳性能。

好了这篇文章就到这里了。

c2f8fc6aa89a5b638518ec36b8a4630e.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/290950.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《杀死一只知更鸟》读后感

今天我看完了这本书&#xff0c;从中我学到真正的勇敢不是一个人手握枪支&#xff0c;是当你还未开始就已知道自己会输&#xff0c;可你依然要去做&#xff0c;而且无论如何都要把它坚持到底。以前我总认为一个人敢动手就是勇敢&#xff0c;我发现我错了&#xff0c;我需要慢慢…

华为西安工业大学鸿蒙,培养百位将领、19位院士,这所211大学被誉为“华为人的母校”...

在社会上&#xff0c;985工程重点大学认可度是普遍要比211工程大学高的&#xff0c;并且985工程大学实力也比较强。但比较例外的是&#xff0c;华为这个让国人骄傲的企业&#xff0c;对一个211工程大学青睐程度却超过了绝大部分985工程大学&#xff0c;这所211大学甚至还被誉为…

Android Studio之Instant Run requires ‘Tools | Android | Enable ADB integration‘ to be enabled解决办法

1、问题 Android studio运行项目时候出现这个提示 Instant Run requires Tools | Android | Enable ADB integration to be enabled 2、原因 由于新版本中的Instant Run &#xff08;即时运行&#xff09;引起的 官方介绍 即使运行 https://developer.android.com/studio/r…

C# 11 预览,又增加了实用的语法糖

文 | 罗奇奇出品 | OSC开源社区&#xff08;ID&#xff1a;oschina2013&#xff09;.NET 首席项目经理凯瑟琳在博客中介绍了 C# 11 的一些预览性新功能&#xff0c;这些功能可以在 Visual Studio 17.1 和 .NET SDK 6.0.200 中体验&#xff0c;下面摘录一部分新特性作介绍&#…

css 中图片旋转,倾斜,位移,平滑

在开发中&#xff0c;我们常常需要对图片有一些绚丽的效果&#xff0c;比如是图片旋转&#xff0c;平移&#xff0c;倾斜等。其实这些在css3中都已经存在&#xff0c;整理下作为demo&#xff0c;以后参考使用&#xff0c;也希望供大家交流学习。如果不足&#xff0c;多多指导。…

java程序

This XML file does not appear to have any style information associated with it. The document tree is shown below.博客园_首页代码改变世界uuid:5de59c50-a92f-4447-96ed-ab86451ed183;id61182014-07-27T11:59:08Zfeed.cnblogs.comhttp://www.cnblogs.com/jianyus/p/386…

android 网卡监听,Android实时监听网络的变化

4中情况。1.无网 2.wifi 3.移动信号 4.网线BroadcastReceiver netReceiver new BroadcastReceiver(){Overridepublic void onReceive(Context context, Intent intent) {String action intent.getAction();if (action.equals(ConnectivityManager.CONNECTIVITY_ACTION)) {Con…

深入理解加密、解密、数字签名(签名证书、加密证书)的组成和数字证书

深入理解加密、解密、数字签名和数字证书 随着电子商务的迅速发展&#xff0c;信息安全已成为焦点问题之一&#xff0c;尤其是网上支付和网络银行对信息安全的要求显得更为突出。为了能在因特网上开展安全的电子商务活动&#xff0c;公开密钥基础设施&#xff08; PKI, Public …

使用Blazor做个简单的时间戳在线转换工具

时间戳转换时间戳转换&#xff0c;关键点在于双向绑定bind-Value&#xff0c;就简单贴源码吧TimestampTool.razorpage "/timestamp" using BlazorComponent.I18n layout PublicLayout<PageTitle>T("TimestampToolTitle")</PageTitle><h2 st…

转载:Pixhawk源码笔记一:APM代码基本结构

转自 新浪微博WalkAnt 基础知识 详细参考&#xff1a;http://dev.ardupilot.com/wiki/learning-the-ardupilot-codebase/ 第一部分&#xff1a;介绍 详细参考&#xff1a;http://dev.ardupilot.com/wiki/learning-ardupilot-introduction/ ArduPilot 代码分为5个主要部分&…

html页面阴影怎么做,html – 做弯曲阴影的最佳方式

您将使用伪元素和box-shadow属性来执行此操作.我在这里为你做了一个例子&#xff1a;http://jsfiddle.net/joshnh/NWnXw/这在IE9及以上工作./* Shadow */.shadow {box-shadow: 0 1px 5px hsla(0,0%,0%,.25),inset 0 0 50px hsla(0,0%,0%,.05);position: relative;}.shadow:afte…

nginx+tomcat8+memcached实现session共享具体操作

本次试验用到的软件包的版本如下&#xff1a;一、针对10.43.2.134的操作1.安装jdk环境tar zxf jdk-8u5-linux-x64.tar.gz mkdir /usr/javamv jdk1.8.0_05/ /usr/java/编辑/etc/profile在文档的末尾追加如下5行内容&#xff1a;JAVA_HOME/usr/java/jdk1.8.0_05JRE_HOME/usr/java…

Android之解决Base64 encode中文乱码问题

1、问题 需求需要&#xff0c;把字符串转化为UTF-8编码之后需要base64.encode处理&#xff0c;但是我写了 String ss new String(value.getbytes("UTF-8"), "UTF-8");Base64.encode(ss); 死活出不来&#xff0c;依然乱码&#xff0c;然后写了检测当前编码…

.NET6之MiniAPI(十九):NLog

在本系例文章的第八篇中&#xff0c;我们聊过官方的日志实现&#xff0c;即《.NET6之MiniAPI(八)&#xff1a;日志》。但官方的日志功能更多是提供了一个实现基础&#xff0c;对于要求一个灵活&#xff0c;强大&#xff0c;方便的日志体系&#xff0c;官方的还是有差距的&#…

mysql-proxy

yum -y install mysql-proxy#mysql-proxy?--daemon?--log-leveldebug?--log-file/var/log/mysql-proxy.log?-P?10.254.157.xxx:3310(本机内网IP,端口自己随意设置)?--proxy-backend-addresses10.137.192.xxx:3306&#xff08;rds内网IP&#xff09; 您看下这几个步骤 是…

字符串倒序

#include "stdafx.h" #include <stdio.h>#include "t11.h" #include <string.h> #include <stdlib.h>//以下代码是把一个字符串倒序 int t11() {char* src "1234567890";int len strlen(src);char* dest (char*)malloc(len…

html地区三级联下拉列表,JS-三级联下拉列表

/p>var types"家电,服饰,家具,日用";var types_str1"电视机,洗衣机,电冰箱,空调|外套,衬衣,大衣,裤子|书桌,书柜,饭桌,衣柜|清洁,洗发,纸品,厨房";var types_str2"索尼,海信,康佳,飞利浦^海尔,LG,三星^海尔,飞利浦,韩电^格力,美的,海尔,长虹"…

Android ndk之Check that/ndk/openssl/crypto/libsfk.so exists or that its path is corret

1、问题 编译ndk里面的子模块的时候出现这个错误 Android ndk Check that/ndk/openssl/crypto/libsfk.so exists or that its path is corret 2、解决办法 是因为编译模块依赖libsfk.so这个文件&#xff0c;所以把这个文件拷贝到这个编译的模块就可以执行 ndk-build succe…

完美:C# Blazor中显示Markdown并添加代码高亮

昨天发了一篇介绍这个库&#xff1a;C# Blazor中显示Markdown文件&#xff0c;介绍怎么在Blazor中显示Markdown内容的文章&#xff0c;文章内的代码是没有高亮的&#xff0c;思来相去&#xff0c;还是要做好&#xff0c;于是百度到这篇文章.NET C# Blazor 服务端渲染Markdown&a…

微服务架构成功之路

本文来源于我在InfoQ中文站翻译的文章&#xff0c;原文地址是&#xff1a;http://www.infoq.com/cn/news/2015/07/success-of-microservices近年来&#xff0c;在软件开发领域关于微服务的讨论呈现出火爆的局面&#xff0c;有人倾向于在系统设计与开发中採用微服务方式实现软件…