程序猿是如何解决SQLServer占CPU100%的

文章目录

  • 遇到的问题
  • 使用SQLServer Profiler监控数据库
    • SQL1：查找最新的30条告警事件
    • SQL2：获取当前的总报警记录数
  • 有哪些SQL语句会导致CPU过高？
  • 查看SQL的查询计划
    • 选择top记录时，尽量为order子句的字段建立索引
    • 查看SQL语句CPU高的语句
    • 通过建立相关索引来减少表扫描
  • 其他优化手段
  • 总结

遇到的问题

有同事反应服务器CPU过高，一看截图基本都是100%了，my god，这可是大问题，赶紧先看看。

o_cpu_hight_shnsh2.png

让同事查看系统进程，发现是SQLServer的CPU占用比较高。首先想到的是不是报表生成的时候高，因为这块之前出现过问题，关掉服务程序，还是高。难道是客户端程序引发的？但是这么多的客户端连接，难不成每个都叫人关闭，很简单，把网络断开即可。网络断开之后，CPU立马下降。那么问题到底在哪里呢，是时候祭出我们的利器了——SQLServer Profiler。

使用SQLServer Profiler监控数据库

让同事使用SQLProfiler监控了大概20分钟左右，然后保存为跟踪文件*.rtc。

o_sqlprofiler.png

我们来看看到底是哪句SQL有问题：

SQL1：查找最新的30条告警事件

select top 30  a.orderno,a.AgentBm,a.AlarmTime,a.RemoveTime,c.Name as AddrName,b.Name as MgrObjName,a.Ch,a.Value,a.Content,a.Level,ag.Name as AgentServerName,a.EventBm,a.MgrObjId,a.Id,a.Cfmoper,a.Cfm,a.Cfmtime,a.State,a.IgnoreStartTime,a.IgnoreEndTime,a.OpUserId,d.Name as MgrObjTypeName,l.UserName as userName,f.Name as AddrName2 
from eventlog as a left join mgrobj as b on a.MgrObjId=b.Id and a.AgentBm=b.AgentBm left join addrnode as c on b.AddrId=c.Id left join mgrobjtype as d on b.MgrObjTypeId=d.Id left join eventdir as e on a.EventBm=e.Bm left join agentserver as ag on a.AgentBm=ag.AgentBm left join loginUser as l on a.cfmoper=l.loginGuid left join addrnode as f on ag.AddrId=f.Id 
where ((MgrObjId in (select Id from MgrObj where AddrId in ('','02100000','02113000','02113001','02113002','02113003','02113004','02113005','02113006','02113007','02113008','02113009','02113010','02113011','02113012','02113013','02113014','02113015','02113016','02113017','02113018','02113019','02113020','02113021','02113022','02113023','02113024','02113025','02113026'))) or (mgrobjid in ('00000000-0000-0000-0000-000000000000','00000000-0000-0000-0000-000000000000','00000000-0000-0000-0000-000000000000','11111111-1111-1111-1111-111111111111','11111111-1111-1111-1111-111111111111'))) 
order by alarmtime DESC

SQL2：获取当前的总报警记录数

select count(*)  from eventlog as a left join mgrobj as b on a.MgrObjId=b.Id and a.AgentBm=b.AgentBm left join addrnode as c on b.AddrId=c.Id left join mgrobjtype as d on b.MgrObjTypeId=d.Id left join eventdir as e on a.EventBm=e.Bm 
where MgrObjId in (select Id from MgrObj where AddrId in ('','02100000','02100001','02100002','02100003','02100004','02100005','02100006','02100007','02100008','02100009','02100010','02100011','02100012','02100013','02100014','02100015','02100016','02100017','02100018','02100019','02101000','02101001','02101002','02101003','02101004','02101005','02101006','02101007','02101008','02101009','02101010','02101011','02101012','02101013','02101014','02101015','02101016','02101017','02101018','02101019','02101020','02101021','02101022','02101023','02101024','02101025','022000','022001','022101','022102','0755','0755002')) and mgrobjid not in ('00000000-0000-0000-0000-000000000000','00000000-0000-0000-0000-000000000000','00000000-0000-0000-0000-000000000000','11111111-1111-1111-1111-111111111111','11111111-1111-1111-1111-111111111111')

这是典型的获取数据并分页的数据，一条获取最新分页记录总数，一条获取分页记录，正是获取最新事件这里导致的CPU过高。这里的业务大概是每个客户端，每3秒执行一次数据库查找，以便显示最新的告警事件。好了，元凶找到了，怎么解决？

有哪些SQL语句会导致CPU过高？

上网查看了下文章，得出以下结论：

1.编译和重编译

编译是 Sql Server 为指令生成执行计划的过程。Sql Server 要分析指令要做的事情，分析它所要访问的表格结构，也就是生成执行计划的过程。这个过程主要是在做各种计算，所以CPU 使用比较集中的地方。

执行计划生成后会被缓存在 内存中，以便重用。但是不是所有的都可以 被重用。在很多时候，由于数据量发生了变化，或者数据结构发生了变化，同样一句话执行，就要重编译。

2.排序（sort） 和 聚合计算（aggregation）

在查询的时候，经常会做 order by、distinct 这样的操作，也会做 avg、sum、max、min 这样的聚合计算，在数据已经被加载到内存后，就要使用CPU把这些计算做完。所以这些操作的语句CPU 使用量会多一些。

3.表格连接（Join）操作

当语句需要两张表做连接的时候，SQLServer 常常会选择 Nested Loop 或 Hash 算法。算法的完成要运行 CPU，所以 join 有时候也会带来 CPU 使用比较集中的地方。

4.Count(*) 语句执行的过于频繁

特别是对大表 Count() ，因为 Count() 后面如果没有条件，或者条件用不上索引，都会引起 全表扫描的，也会引起 CPU 的大量运算

大致的原因，我们都知道了，但是具体到我们上述的两个SQL，好像都有上述提到的这些问题，那么到底哪个才是最大的元凶，我们能够怎么优化？

查看SQL的查询计划

SQLServer的查询计划很清楚的告诉了我们到底在哪一步消耗了最大的资源。我们先来看看获取top30的记录：

o_sort_cost.png

排序竟然占了94%的资源。原来是它！同事马上想到，用orderno排序会不会快点。先把上述语句在SQLServer中执行一遍，清掉缓存之后，大概是2~3秒，然后排序字段改为orderno，1秒都不到，果然有用。但是orderno的顺序跟alarmTime的顺序是不完全一致的，orderno的排序无法替代alarmTime排序，那么怎么办？我想，因为选择的是top，那么因为orderno是聚集索引，那么选择前30条记录，可以立即返回，根本无需遍历整个结果，那么如果alarmTime是个索引字段，是否可以加快排序？

选择top记录时，尽量为order子句的字段建立索引

先建立索引：

IF NOT EXISTS(SELECT * FROM sysindexes WHERE id=OBJECT_ID('eventlog') AND name='IX_eventlog_alarmTime')CREATE NONCLUSTERED INDEX IX_eventlog_alarmTime ON dbo.eventlog(AlarmTime)

在查看执行计划：

o_sort_index_cost.png

看到没有，刚才查询耗时的Sort已经消失不见了，那么怎么验证它能够有效的降低我们的CPU呢，难道要到现场部署，当然不是。

查看SQL语句CPU高的语句

SELECT TOP 10 TEXT AS 'SQL Statement',last_execution_time AS 'Last Execution Time',(total_logical_reads + total_physical_reads + total_logical_writes) / execution_count AS [Average IO],(total_worker_time / execution_count) / 1000000.0 AS [Average CPU Time (sec)],(total_elapsed_time / execution_count) / 1000000.0 AS [Average Elapsed Time (sec)],execution_count AS "Execution Count",qs.total_physical_reads,qs.total_logical_writes,qp.query_plan AS "Query Plan"
FROM sys.dm_exec_query_stats qs
CROSS APPLY sys.dm_exec_sql_text(qs.plan_handle) st
CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) qp
ORDER BY total_elapsed_time / execution_count DESC

我们把建索引前后CPU做个对比：

o_sort_index_cmp.png

已经明显减低了。

通过建立相关索引来减少表扫描

我们再来看看count(*)这句怎么优化，因为上面的这句跟count这句差别就在于order by的排序。老规矩，用查询计划看看。

o_count_less_index.png

用语句select count(0) from eventlog一看，该表已经有20多w的记录，每次查询30条数据，竟然要遍历这个20多w的表两次，能不耗CPU吗。我们看看是否能够利用相关的条件来减少表扫描。很明显，我们可以为MgrObjId建立索引：

CREATE NONCLUSTERED INDEX IX_eventlog_moid ON dbo.eventlog(MgrObjId)

但是无论我怎么试，都是没有利用到索引，难道IN子句和NOT IN子句是没法利用索引一定会引起表扫描。于是上网查资料，找到桦仔的文章，这里面有解答：

SQLSERVER对筛选条件（search argument/SARG）的写法有一定的建议

对于不使用SARG运算符的表达式，索引是没有用的，SQLSERVER对它们很难使用比较优化的做法。非SARG运算符包括

NOT、<>、NOT EXISTS、NOT IN、NOT LIKE和内部函数，例如：Convert、Upper等

但是这恰恰说明了IN是可以建立索引的啊。百思不得其解，经过一番的咨询之后，得到了解答：

不一定是利用索引就是好的,sqlserver根据你的查询的字段的重复值的占比，决定是表扫描还是索引扫描

有道理，但是我查看了下，重复值并不高，怎么会有问题呢。

关键是，你select的字段，这个地方使用索引那么性能更差，你select字段 id,addrid,agentbm,mgrobjtypeid,name都不在索引里。

真是一语惊醒梦中人，缺的是包含索引！！！关于包含索引的重要性我在这篇文章《我是如何在SQLServer中处理每天四亿三千万记录的》已经提到过了，没想到在这里又重新栽了个跟头。实践，真的是太重要了！

通过建立包含索引来让SQL语句走索引

好吧，立马建立相关索引：

IF NOT EXISTS(SELECT * FROM sysindexes WHERE id=OBJECT_ID('eventlog') AND name='IX_eventlog_moid')CREATE NONCLUSTERED INDEX IX_eventlog_moid ON dbo.eventlog(MgrObjId) INCLUDE(EventBm,AgentBM)

我们再来看看查询计划：

o_count_include_index.png

看到没有，已经没有eventlog表的表扫描了。我们再来比较前后的CPU：

o_cpu_include_index.png

很明显，这个count的优化，对查询top的语句依然的生效的。目前为止，这两个查询用上去之后，再也没有CPU过高的现象了。

其他优化手段

  • 通过服务端的推送，有事件告警或者解除过来才查询数据库。
  • 优化上述查询语句，比如count(*)可以用count(0)替代——参考《SQL开发技巧(二)》
  • 优化语句，先查询出所有的MgrObjId，然后在做连接
  • 为管理对象、地点表等增加索引
  • 添加了索引之后，事件表的插入就会慢，能够再怎么优化呢？可以分区建立索引，每天不忙的时候，把新的记录移入到建好索引的分区

当然，这些优化的手段是后续的事情了，我要做的事情基本完了。

总结

  • 服务器CPU过高，首先查看系统进程，确定引发CPU过高的进程
  • 通过SQLServer Profiler能够轻易监控到哪些SQL语句执行时间过长，消耗最多的CPU
  • 通过SQL语句是可以查看每条SQL语句消耗的CPU是多少
  • 导致CPU高的都是进行大量计算的语句：包括内存排序、表扫描、编译计划等。
  • 如果使用Top刷选前面几条语句，则尽量为Order By子句建立索引，这样可以减少对所有的刷选结果进行排序
  • 使用Count查询记录数时，尽量通过为where字句的相关字段建立索引以减少表扫描。如果多个表进行join操作，则把相关的表连接字段建立在包含索引中
  • 通过服务端通知的方式，减少SQL语句的查询
  • 通过表分区，尽量降低因为添加索引而导致表插入较慢的影响

参考文章

  • SQLSERVR语句 in和exists哪个效率高本人测试证明
  • Sql Server Cpu 100% 的常见原因及优化
  • SQLSERVER排查CPU占用高的情况
  • 人人都是 DBA（XII）查询信息收集脚本汇编

    最后，感谢博客园DBA桦仔的热心指点。

转载于:https://www.cnblogs.com/marvin/p/ASolutionForSQLServerCauseHighCPU.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/273481.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

通过wifi调试Android程序

通过wifi调试Android程序

原文&#xff1a;http://www.cnblogs.com/sunzhenxing19860608/archive/2011/07/14/2106492.html 1.首先让android手机监听指定的端口&#xff1a;　　这一步需要使用shell&#xff0c;因此手机上要有终端模拟器&#xff0c;不过网上很多&#xff0c;随便找个就行了&#xff0c…
阅读更多...
基于jQuery的对象切换插件：soChange 1.5 (点击下载)

基于jQuery的对象切换插件：soChange 1.5 (点击下载)

http://www.jsfoot.com/jquery/demo/2011-09-20/192.html 所有参数&#xff1a; $(obj).soChange({ thumbObj:null, //导航对象&#xff0c;默认为空 botPrev:null, //按钮上一个&#xff0c;默认为空 botNext:null, //按钮下一个。默认为空 thumbNowClass:no…
阅读更多...
atitit.Oracle 9 10 11 12新特性attilax总结

atitit.Oracle 9 10 11 12新特性attilax总结

atitit.Oracle 9 10 11 12新特性 1. ORACLE 11G新特性 1 1.1. oracle11G新特性 1 1.2. 审计 1 1.3. 1. 审计简介 1 1.4. 其他&#xff08;大部分是管理功能&#xff09; 2 2. Oracle 12c 的 12 个新特性 2 2.1. 2 Improved Defaults 增强了DEFAULT, default目前可以直接指代…
阅读更多...
mysql读书笔记---mysql safe update mode

mysql读书笔记---mysql safe update mode

You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column 查看 mysql> show variables like %sql_safe%; 关闭 mysql> set sql_safe_updates0; 开启 mysql> set sql_safe_updates1;
阅读更多...
基于纤程(Fiber)实现C++异步编程库（一）：原理及示例

基于纤程(Fiber)实现C++异步编程库（一）：原理及示例

纤程&#xff08;Fiber&#xff09;和协程&#xff08;coroutine&#xff09;是差不多的概念&#xff0c;也叫做用户级线程或者轻线程之类的。Windows系统提供了一组API用户创建和使用纤程&#xff0c;本文中的库就是基于这组API实现的&#xff0c;所以无法跨平台使用&#xff…
阅读更多...
MYSQL读书笔记---运算符、字符串操作

MYSQL读书笔记---运算符、字符串操作

运算符###########################################,!(<>),>,>,<,< is null , is not null, isnull(expr) expr between min and max expr in(v1,v2,...)流程#############################################mysql> select ifnull(1,0); #如果第一个参数为…
阅读更多...
fluidity详解

fluidity详解

fluidity详解 1.fluidity编译过程 1.1.femtools库调用方法 编译fluidity/femtools目录下所有文件&#xff0c;打包为libfemtools.a静态库文件&#xff1b;通过-lfemtools参数&#xff0c;并指定libfemtools.a静态库位置&#xff0c;即可调用 femtools 库内所有函数2.fluidity主…
阅读更多...
mysql读书笔记---if语句

mysql读书笔记---if语句

IF(expr1,expr2,expr3) 如果expr1是TRUE(expr1<>0 and expr1<>NULL)&#xff0c;则IF()的返回值为expr2;否则返回值则为expr3。IF()的返回值为数字值或字符串值&#xff0c;具体情况视其所在语境而定。 mysql>SELECT?IF(1>2,2,3); ->3 mysql>SELECT I…
阅读更多...
C语言 将整数写入内存指定的连续字节单元中

C语言 将整数写入内存指定的连续字节单元中

将整数数组写入0x40003000开始的连续10个字节内存单元中&#xff0c;注意unsigned char *指向一个字节&#xff0c;而int *指向1个字&#xff08;4个字&#xff09;&#xff0c;但是可以把字中存储的整数放入字节单元中&#xff0c;只要不超过表示的范围&#xff0c;注意虽然un…
阅读更多...
mysql读书笔记----时间函数

mysql读书笔记----时间函数

1.获得当前时间&#xff1a;时间格式yyyy-MM-dd curdate();2.DAYOFWEEK(date) 3.WEEKDAY(date) 4.DAYOFMONTH(date) 5.DAYOFYEAR(date) 6.MONTH(date) 7.DAYNAME(date) 8.MONTHNAME(date) 9.QUARTER(date) 10.WEEK(date) WEEK(date,first) 11.YEAR(date) 12.HOUR(time) 13.MINU…
阅读更多...
企业数据1

企业数据1

1. 企业数据 1.1. 全局 1.1.1. 货币 CNY Chinese Yuan Renminbi &#xffe5; 6.825020 ARS Argentine Peso $ 3.791090 BOB Bolivian Boliviano $b 7.570800 BRL Brazilian Real R$ 1.766500 CAD Canadian Dollar $ 1.037570 CLP Chilean Peso $ …
阅读更多...
sql判断语句

sql判断语句

方法一&#xff1a; <if test"null ! orderType and 0 orderType"> order by amountTimes desc </if><if test"null ! orderType and 1 orderType">order by amountTimes asc </if><if test"null ! orderType and 2 …
阅读更多...
Thinkphp 整合tcpdf

Thinkphp 整合tcpdf

网上查了些关于tcpdf 使用教程&#xff0c;整合到TP的话&#xff0c;会有些小问题&#xff0c;由于基础还不是很扎实&#xff0c;花了点时间终于整合OK了。下面介绍步骤&#xff1a; 环境&#xff1a; TP版本&#xff1a;TP3.2.2 tcpdf:tcpdf_6_2_3 1. 将tcpdf_6_2_3.zip解压在…
阅读更多...
多项目开发下的dll文件管理

多项目开发下的dll文件管理

阅读目录&#xff1a;DS01&#xff1a;为什么要对生成的dll文件进行管理&#xff1f;DS02&#xff1a;首先介绍以下两个DOS命令DS03&#xff1a;第一种实现方法&#xff08;xcopy&#xff09;DS04&#xff1a;第二种实现方法&#xff08;attrib&#xff09;DS05&#xff1a;分享…
阅读更多...
关于Java中的随机数产生

关于Java中的随机数产生

对比两种写法&#xff1a; 第一种&#xff1a; public static void main(String args[]){Random random new Random(System.currentTimeMillis());for(int i0; i<20; i){int sindex random.nextInt(2);System.out.println(sindex);}}第二种&#xff1a; public static voi…
阅读更多...
视图

视图

视图是虚表&#xff0c;是从一个或几个基本表&#xff08;或视图&#xff09;中导出的表&#xff0c;在系统的数据字典中仅存放了视图的定义&#xff0c;不存放视图对应的数据。视图是原始数据库数据的一种变换&#xff0c;是查看表中数据的另外一种方式。可以将视图看成是一个…
阅读更多...
选择器的并发性

选择器的并发性

4.3.4 并发性 选择器对象是线程安全的&#xff0c;但它们包含的键集合不是。通过keys( )和selectKeys( )返回的键的集合是Selector对象内部的私有的Set对象集合的直接引用。这些集合可能在任意时间被改变。已注册的键的集合是只读的。如果您试图修改它&#xff0c;那么您得到的…
阅读更多...
mysql 自定义函数之判断

mysql 自定义函数之判断

DELIMITER $$CREATE DEFINERrootlocalhost FUNCTION getMin(a int,b int) RETURNS int(11)BEGINdeclare min int;if(a>b)then set min b;elseif(b>a)then set min a;else set min 0;#end if;end if;RETURN min;END 调用该函数可以如下方式 select getMin(1,2); 返回值…
阅读更多...
C/C++的数组名

C/C++的数组名

数组名相当于指向数组第一个元素的地址。数组名不是变量&#xff0c;是地址常量&#xff0c;不能为其赋值。如下&#xff1a;1&#xff09;一维数组中对于数组 a[5] {1, 2, 3, 4, 5};数组名a相当于指向第一个元素a[0]的指针。即 a 与 &a[0] 等价。2&#xff09;二维数组中…
阅读更多...
mysql的运算法

mysql的运算法

一、算术运算符1、加 www.2cto.com mysql> select 12;-----| 12 |-----| 3 |-----2、减mysql> select 1-2;-----| 1-2 |-----| -1 |-----3、乘mysql> select 2*3;-----| 2*3 |-----| 6 |-----4、除mysql> select 2/3;--------| 2/3 |--------| 0.6667 |-…
阅读更多...
最新文章

Copyright @ 2022~2023