Linux下故障分析方法

1、背景

有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。

2、说明

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

3、分析问题的方法论

套用5W2H方法，可以提出性能分析的几个问题

  • What-现象是什么样的

  • When-什么时候发生

  • Why-为什么会发生

  • Where-哪个地方发生的问题

  • How much-耗费了多少资源

  • How to do-怎么解决问题

4、cpu

4.1 说明

针对应用程序，我们通常关注的是内核CPU调度器功能和性能。

线程的状态分析主要是分析线程的时间用在什么地方，而线程状态的分类一般分为：

a. on-CPU：执行中，执行中的时间通常又分为用户态时间user和系统态时间sys。
b. off-CPU：等待下一轮上CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

如果大量时间花在CPU上，对CPU的剖析能够迅速解释原因；如果系统时间大量处于off-cpu状态，定位问题就会费时很多。但是仍然需要清楚一些概念：

  • 处理器

  • 核

  • 硬件线程

  • CPU内存缓存

  • 时钟频率

  • 每指令周期数CPI和每周期指令数IPC

  • CPU指令

  • 使用率

  • 用户时间／内核时间

  • 调度器

  • 运行队列

  • 抢占

  • 多进程

  • 多线程

  • 字长

4.2 分析工具

说明：

  • uptime,vmstat,mpstat,top,pidstat只能查询到cpu及负载的的使用情况。

  • perf可以跟着到进程内部具体函数耗时情况，并且可以指定内核函数进行统计，指哪打哪。

4.3 使用方式

//查看系统cpu使用情况
top//查看所有cpu核信息
mpstat -P ALL 1//查看cpu使用情况以及平均负载
vmstat 1//进程cpu的统计信息
pidstat -u 1 -p pid//跟踪进程内部函数级cpu使用情况
perf top -p pid -e cpu-clock

5、内存

5.1 说明

内存是为提高效率而生，实际分析问题的时候，内存出现问题可能不只是影响性能，而是影响服务或者引起其他问题。同样对于内存有些概念需要清楚：

  • 主存

  • 虚拟内存

  • 常驻内存

  • 地址空间

  • OOM

  • 页缓存

  • 缺页

  • 换页

  • 交换空间

  • 交换

  • 用户分配器libc、glibc、libmalloc和mtmalloc

  • LINUX内核级SLUB分配器

5.2 分析工具

说明：

  • free,vmstat,top,pidstat,pmap只能统计内存信息以及进程的内存使用情况。

  • valgrind可以分析内存泄漏问题。

  • dtrace动态跟踪。需要对内核函数有很深入的了解，通过D语言编写脚本完成跟踪。

5.3 使用方式

//查看系统内存使用情况
free -m//虚拟内存统计信息
vmstat 1//查看系统内存情况
top//1s采集周期，获取内存的统计信息
pidstat -p pid -r 1//查看进程的内存映像信息
pmap -d pid//检测程序内存问题
valgrind --tool=memcheck --leak-check=full --log-file=./log.txt  ./程序名

6、磁盘IO

6.1 说明

磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。

在理解磁盘IO之前，同样我们需要理解一些概念，例如：

  • 文件系统

  • VFS

  • 文件系统缓存

  • 页缓存page cache

  • 缓冲区高速缓存buffer cache

  • 目录缓存

  • inode

  • inode缓存

  • noop调用策略

6.2 分析工具

6.3 使用方式

//查看系统io信息
iotop//统计io详细信息
iostat -d -x -k 1 10//查看进程级io的信息
pidstat -d 1 -p  pid//查看系统IO的请求，比如可以在发现系统IO异常时，可以使用该命令进行调查，就能指定到底是什么原因导致的IO异常
perf record -e block:block_rq_issue -ag
^C
perf report

7、网络

7.1 说明

网络的监测是所有 Linux 子系统里面最复杂的，有太多的因素在里面，比如：延迟、阻塞、冲突、丢包等，更糟的是与 Linux 主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题，增加了监测和判断的复杂度。现在我们使用的所有网卡都称为自适应网卡，意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。

7.2 分析工具

7.3 使用方式

//显示网络统计信息
netstat -s//显示当前UDP连接状况
netstat -nu//显示UDP端口号的使用情况
netstat -apu//统计机器中网络连接各个状态个数
netstat -a | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'//显示TCP连接
ss -t -a//显示sockets摘要信息
ss -s//显示所有udp sockets
ss -u -a//tcp,etcp状态
sar -n TCP,ETCP 1//查看网络IO
sar -n DEV 1//抓包以包为单位进行输出
tcpdump -i eth1 host 192.168.1.1 and port 80 //抓包以流为单位显示数据内容
tcpflow -cp host 192.168.1.1

8、系统负载

8.1 说明

Load 就是对计算机干活多少的度量（WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）简单的说是进程队列的长度。Load Average 就是一段时间（1分钟、5分钟、15分钟）内平均Load。

8.2 分析工具

8.3 使用方式

//查看负载情况
uptimetopvmstat//统计系统调用耗时情况
strace -c -p pid//跟踪指定的系统操作例如epoll_wait
strace -T -e epoll_wait -p pid//查看内核日志信息
dmesg

9、火焰图

9.1 说明

火焰图（Flame Graph是 Bredan Gregg 创建的一种性能分析图表，因为它的样子近似 ?而得名。

火焰图主要是用来展示 CPU的调用栈。

y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有”平顶”（plateaus），就表示该函数可能存在性能问题。颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。

常见的火焰图类型有On-CPU、Off-CPU、Memory、Hot/Cold、Differential等等。

9.2 安装依赖库

//安装systemtap，默认系统已安装
yum install systemtap systemtap-runtime//内核调试库必须跟内核版本对应，例如：uname -r 2.6.18-308.el5
kernel-debuginfo-2.6.18-308.el5.x86_64.rpm
kernel-devel-2.6.18-308.el5.x86_64.rpm
kernel-debuginfo-common-2.6.18-308.el5.x86_64.rpm//安装内核调试库
debuginfo-install --enablerepo=debuginfo search kernel
debuginfo-install --enablerepo=debuginfo  search glibc

9.3 安装

git clone https://github.com/lidaohang/quick_location.git
cd quick_location

9.4 CPU级别火焰图

cpu占用过高，或者使用率提不上来，你能快速定位到代码的哪块有问题吗？
一般的做法可能就是通过日志等方式去确定问题。现在我们有了火焰图，能够非常清晰的发现哪个函数占用cpu过高，或者过低导致的问题。

9.4.1 on-CPU

cpu占用过高，执行中的时间通常又分为用户态时间user和系统态时间sys。

使用方式：

//on-CPU user
sh ngx_on_cpu_u.sh pid//进入结果目录
cd ngx_on_cpu_u//on-CPU kernel
sh ngx_on_cpu_k.sh pid//进入结果目录
cd ngx_on_cpu_k//开一个临时端口8088
python -m SimpleHTTPServer 8088//打开浏览器输入地址
127.0.0.1:8088/pid.svg

DEMO：

#include <stdio.h>
#include <stdlib.h>void foo3()
{
}void foo2()
{int i;for(i=0 ; i < 10; i++)foo3();
}void foo1()
{int i;for(i = 0; i< 1000; i++)foo3();
}int main(void)
{int i;for( i =0; i< 1000000000; i++) {foo1();foo2();}
}

DEMO火焰图：

9.4.2 off-CPU

cpu过低，利用率不高。等待下一轮CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

使用方式：

// off-CPU user
sh ngx_off_cpu_u.sh pid//进入结果目录
cd ngx_off_cpu_u//off-CPU kernel
sh ngx_off_cpu_k.sh pid//进入结果目录
cd ngx_off_cpu_k//开一个临时端口8088
python -m SimpleHTTPServer 8088//打开浏览器输入地址
127.0.0.1:8088/pid.svg

官网DEMO：

9.5 内存级别火焰图

如果线上程序出现了内存泄漏，并且只在特定的场景才会出现。这个时候我们怎么办呢？有什么好的方式和工具能快速的发现代码的问题呢？同样内存级别火焰图帮你快速分析问题的根源。

使用方式：

sh ngx_on_memory.sh pid//进入结果目录
cd ngx_on_memory//开一个临时端口8088
python -m SimpleHTTPServer 8088//打开浏览器输入地址
127.0.0.1:8088/pid.svg

官网DEMO：

9.6 性能回退-红蓝差分火焰图

你能快速定位CPU性能回退的问题么？如果你的工作环境非常复杂且变化快速，那么使用现有的工具是来定位这类问题是很具有挑战性的。当你花掉数周时间把根因找到时，代码已经又变更了好几轮，新的性能问题又冒了出来。主要可以用到每次构建中，每次上线做对比看，如果损失严重可以立马解决修复。

通过抓取了两张普通的火焰图，然后进行对比，并对差异部分进行标色：红色表示上升，蓝色表示下降。差分火焰图是以当前（“修改后”）的profile文件作为基准，形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分，且可以看出为什么会有这样的差异。

使用方式：

cd quick_location//抓取代码修改前的profile 1文件
perf record -F 99 -p pid -g -- sleep 30
perf script > out.stacks1//抓取代码修改后的profile 2文件
perf record -F 99 -p pid -g -- sleep 30
perf script > out.stacks2//生成差分火焰图:
./FlameGraph/stackcollapse-perf.pl ../out.stacks1 > out.folded1
./FlameGraph/stackcollapse-perf.pl ../out.stacks2 > out.folded2
./FlameGraph/difffolded.pl out.folded1 out.folded2 | ./FlameGraph/flamegraph.pl > diff2.svg

DEMO：

//test.c
#include <stdio.h>
#include <stdlib.h>void foo3()
{
}void foo2()
{int i;for(i=0 ; i < 10; i++)foo3();
}void foo1()
{int i;for(i = 0; i< 1000; i++)foo3();
}int main(void)
{int i;for( i =0; i< 1000000000; i++) {foo1();foo2();}
}//test1.c
#include <stdio.h>
#include <stdlib.h>void foo3()
{
}void foo2()
{int i;for(i=0 ; i < 10; i++)foo3();
}void foo1()
{int i;for(i = 0; i< 1000; i++)foo3();
}void add()
{int i;for(i = 0; i< 10000; i++)foo3();
}int main(void)
{int i;for( i =0; i< 1000000000; i++) {foo1();foo2();add();}
}

DEMO红蓝差分火焰图：

10、案例分析

10.1 接入层nginx集群异常现象

通过监控插件发现在2017.09.25 19点nginx集群请求流量出现大量的499，5xx状态码。并且发现机器cpu使用率升高，目前一直持续中。

10.2 分析nginx相关指标

a) **分析nginx请求流量：

结论：

通过上图发现流量并没有突增，反而下降了，跟请求流量突增没关系。

b) **分析nginx响应时间

结论：

通过上图发现nginx的响应时间有增加可能跟nginx自身有关系或者跟后端upstream响应时间有关系。

c) **分析nginx upstream响应时间

结论：

通过上图发现nginx upstream 响应时间有增加，目前猜测可能后端upstream响应时间拖住nginx，导致nginx出现请求流量异常。

10.3 分析系统cpu情况

a) **通过top观察系统指标

top

结论：

发现nginx worker cpu比较高

b) **分析nginx进程内部cpu情况

perf top -p pid

结论：

发现主要开销在free,malloc,json解析上面

10.4 火焰图分析cpu

a) **生成用户态cpu火焰图

//test.c
#include <stdio.h>
#include <stdlib.h>
//on-CPU user
sh ngx_on_cpu_u.sh pid//进入结果目录
cd ngx_on_cpu_u//开一个临时端口8088
python -m SimpleHTTPServer 8088//打开浏览器输入地址
127.0.0.1:8088/pid.svg

结论：

发现代码里面有频繁的解析json操作，并且发现这个json库性能不高，占用cpu挺高。

10.5 案例总结

a) 分析请求流量异常，得出nginx upstream后端机器响应时间拉长

b) 分析nginx进程cpu高，得出nginx内部模块代码有耗时的json解析以及内存分配回收操作

10.5.1 深入分析

根据以上两点问题分析的结论，我们进一步深入分析。

后端upstream响应拉长，最多可能影响nginx的处理能力。但是不可能会影响nginx内部模块占用过多的cpu操作。并且当时占用cpu高的模块，是在请求的时候才会走的逻辑。不太可能是upstram后端拖住nginx，从而触发这个cpu的耗时操作。

10.5.2 解决方式

遇到这种问题，我们优先解决已知的，并且非常明确的问题。那就是cpu高的问题。解决方式先降级关闭占用cpu过高的模块，然后进行观察。经过降级关闭该模块cpu降下来了，并且nginx请求流量也正常了。之所以会影响upstream时间拉长，因为upstream后端的服务调用的接口可能是个环路再次走回到nginx。

11、参考资料

http://www.brendangregg.com/index.html

http://www.brendangregg.com/FlameGraphs/cpuflamegraphs.html

http://www.brendangregg.com/FlameGraphs/memoryflamegraphs.html

http://www.brendangregg.com/FlameGraphs/offcpuflamegraphs.html

http://www.brendangregg.com/blog/2014-11-09/differential-flame-graphs.html

https://github.com/openresty/openresty-systemtap-toolkit

https://github.com/brendangregg/FlameGraph

https://www.slideshare.net/brendangregg/blazing-performance-with-flame-graphs

作者：Lucien_168

链接：https://www.jianshu.com/p/0bbac570fa4c

  回复「 篮球的大肚子」进入技术群聊

回复「1024」获取1000G学习资料

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/467945.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

TEXT宏

TEXT宏

TEXT宏是windows程序设计中经常遇到的宏&#xff0c;定义在 <winnt.h>中 TCHAR *P TEXT("this is a const string"); 如果使用UNICODE字符集&#xff0c;则TEXT&#xff08;“....”&#xff09; &#xff0c;相当于 L"....." &#xff1b; 如果使…
阅读更多...
作业题

作业题

import random fopen(‘data.txt’,‘w’) for i in range(10000): f.write(str(random.randint(1,100))) f.write(’\n’) f.seek(0) print(f.read()) f.close f.seek()函数 移动文件中n个操作 正为向结束方向 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符…
阅读更多...
即将放弃python的app_python放弃之 模块和包

即将放弃python的app_python放弃之 模块和包

importprint(frrom the my_module.py)money1000def rend1():print(my_my_module->reand1->money,money)def rend2():print(my_module->read2 calling read1)read1()def change():global moneymoney0模块可以包含可执行语句和函数的定义&#xff0c;这些语句的目的是初…
阅读更多...
ubuntu 安装gitlab

ubuntu 安装gitlab

gitlab 类似github&#xff0c;可以用来管理代码。当然除了他们两个还有很多代码管理的工具&#xff0c;国内的也有。我这篇文章就只讲gitlab的安装过程。但是gitlab并不是轻量级的东西&#xff0c;占用大概4~8G的内存&#xff0c;特别是merge的代码比较多的时候&#xff0c;占…
阅读更多...
一些常用的linux命令（2）

一些常用的linux命令（2）

参考&#xff1a;http://www.cnblogs.com/laov/p/3541414.html 系统管理命令 stat 显示指定文件的详细信息&#xff0c;比ls更详细 who 显示在线登陆用户 whoami 显示当前操作用户 hostname 显示主机名 uname 显示系统信…
阅读更多...
迭代

迭代

迭代 文章目录迭代内置可迭代对象 range&#xff08;&#xff09;内置函数使用 map&#xff08;函数加对象&#xff09;函数定义与参数定义传参作用域函数参数传值可迭代对象支持迭代协议 遍历循环 因为 迭代协议 方法—next—&#xff08;&#xff09;函数next消耗内存小所占空…
阅读更多...
python os renames_Python3 os.renames() 方法

python os renames_Python3 os.renames() 方法

概述os.renames() 方法用于递归重命名目录或文件。类似rename()。语法renames()方法语法格式如下&#xff1a;os.renames(old, new)参数old -- 要重命名的目录new --文件或目录的新名字。甚至可以是包含在目录中的文件&#xff0c;或者完整的目录树。返回值该方法没有返回值实例…
阅读更多...
普通人的节奏

普通人的节奏

在立春当夜&#xff0c;这南方城市的上空响起了2020年的第一声春雷&#xff0c;大家都期待着这一声霹雳除去一切霉噩&#xff0c;带来万象更新。之后的天气逐渐变好&#xff0c;近日来更是风和日丽。前日&#xff0c;去采购食品和日用品&#xff0c;久不出门&#xff0c;趁好天…
阅读更多...
DDD领域模型自动生成？

DDD领域模型自动生成？

我不想写代码&#xff0c;只想通过界面配置一下就能自动生成代码多好&#xff0c;如果界面也能自动生成&#xff0c;那就更好了转载于:https://www.cnblogs.com/PerfectBeauty/p/7351849.html
阅读更多...
函数与lambda

函数与lambda

文章目录参数匹配将形参赋值&#xff08;关键字匹配&#xff09;默认位置匹配解包在元组前加*函数传递字典表&#xff0c;使用**解包字典表两种声明法lambda表达式初学者逻辑采用字典表可以实现委托map函数把列表对象每一个拿出来放入函数中进行迭代后放入新的列三种方式filter…
阅读更多...
还没学python_2个月过去了！还没学会python？用《流畅的python》15天带你学会

还没学python_2个月过去了！还没学会python？用《流畅的python》15天带你学会

学了很久python&#xff0c;还是完全没有思路自己学了很久的python&#xff0c;还是感觉没学到什么&#xff0c;出现这样的情况的python学习者有很多&#xff0c;只是大多都是放弃了&#xff01;出现这样的原因主要有以下三点&#xff1a;1、没有人带领&#xff0c;遇到问题解决…
阅读更多...
Linux内核奔溃分析

Linux内核奔溃分析

前言最近遇到一个kernel奔溃的问题&#xff0c;错误日志开头一部分如下&#xff1a;[ 355.2624510] Unhandled fault: external abort on non-linefetch (0x008) at 0xfe004328 [ 355.2645470] Internal error: : 8 [#1] PREEMPT SMP ARM [ 355.2696320] Modules linked in:…
阅读更多...
DataGridView带图标的单元格实现

DataGridView带图标的单元格实现

目的&#xff1a; 扩展 C# WinForm 自带的表格控件&#xff0c;使其可以自动判断数据的上下界限值&#xff0c;并标识溢出。 这里使用的方法是&#xff1a;扩展 表格的列 对象&#xff1a;DataGridViewColumn。 1.创建类&#xff1a;DataGridViewDecimalCheckCell.cs public cl…
阅读更多...
包与模块管理及面向对象初步

包与模块管理及面向对象初步

模块 文章目录模块指令原因步骤搜索范围加目录面向对象编程封装实现初始化函数![在这里插入图片描述](https://img-blog.csdnimg.cn/20200201081513814.png?x-oss-processimage/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80M…
阅读更多...
spring生命周期七个过程_Spring杂文（三）Spring循环引用

spring生命周期七个过程_Spring杂文（三）Spring循环引用

众所周知spring在默认单例的情况下是支持循环引用的Appconfig.java类的代码Configurable ComponentScan("com.sadow") public class Appconfig { }X.java类的代码Component public class X {AutowiredY y;public X(){System.out.println("X create");} }Y.…
阅读更多...
Linux 系统中的dvfs功能

Linux 系统中的dvfs功能

前言最近硬件的同事需要我们提供的版本能动态调频&#xff0c;何为动态调频呢&#xff1f;对于CPU来讲&#xff0c;功耗和性能是一对不可调和的矛盾&#xff0c;通过调整CPU的电压和频率&#xff0c;可以在功耗和性能之间找一个平衡点。由于调整是在系统运行的过程中&#xff0…
阅读更多...
python是面向对象还是过程_python编程：面向对象与过程是什么？

python是面向对象还是过程_python编程：面向对象与过程是什么？

编程任何一个要素的学习都是基于更方便&#xff0c;更快捷&#xff0c;更效率而存在的&#xff0c;当然面向对象也一样&#xff0c;针对这部分知识&#xff0c;大家可以浏览以下内容&#xff0c;看完即懂。先来看一组示例&#xff1a;面向过程思维&#xff1a;把大象装进冰箱需…
阅读更多...
Android系统下内存使用情况与监测

Android系统下内存使用情况与监测

(0). Android/Linux 内存分配的两个重要策略.Linux 在分配内存时, 为了节省内存, 按需分配, 使用了延时分配以及Copy-On-Write 的策略.延时分配即针对user space 申请memory 时, 先只是明面上的分配虚拟空间, 等到真正操作memory 时, 才真正分配具体的物理内存, 这个需要借助…
阅读更多...
node进阶｜ 解决表单enctype=multipart/form-data 时获取不到Input值的问题

node进阶｜ 解决表单enctype=multipart/form-data 时获取不到Input值的问题

今天在学习node踩到一个坑&#xff1a;form设置enctype"multipart/form-data"上传文件时&#xff0c;无法获取到表单其他input的值。 因为之前上传文件用的是 formidable 方法1&#xff1a;formidable &#xff08;无法获取其他input的值&#xff09; 引包 app.js v…
阅读更多...
错误异常处理 小数格式化，取证与四舍五入 random处理 日期与时间常用操作

错误异常处理 小数格式化，取证与四舍五入 random处理 日期与时间常用操作

异常处理 文章目录异常处理语法错误语义错误逻辑错误异常处理finallytryecceptfinallyraise测试unittest测试组织代码常用断言方法是否正确存在约等于判断是否应用判断是否为空判断是否为某型实例判断大于类与测试装置setup函数teardown函数小数格式化&#xff0c;取证与四舍五…
阅读更多...
最新文章

Copyright @ 2022~2023