一、什么是Skywalking
分布式链路追踪的一种方式:Spring Cloud Sleuth+ZipKin,这种方案目前也是有很多企业在用,但是作为程序员要的追逐一些新奇的技术,Skywalking作为后起之秀也是值得大家去学习的。
Skywalking是一个优秀的国产开源框架,2015年由个人吴晟(华为开发者)开源 , 2017年加入Apache孵化器。短短两年就被Apache收入麾下,实力可见一斑。
Skywalking支持dubbo,SpringCloud,SpringBoot集成,代码无侵入,通信方式采用GRPC,性能较好,实现方式是java探针,支持告警,支持JVM监控,支持全局调用统计等等,功能较完善。
二、Skywalking和Spring Cloud Sleuth+ZipKin如何选型
Skywalking相比于zipkin还是有很大的优势的,如下:
- skywalking采用字节码增强的技术实现代码无侵入,zipKin代码侵入性比较高
- skywalking功能比较丰富,报表统计,UI界面更加人性化
个人建议:如果是新的架构,建议优先选择Skywalking
三、Skywalking架构
skywalking和zipkin一样,也分为服务端和客户端,服务端负责收集日志数据并且展示,架构如下:
上述架构图中主要分为四个部分,如下:
- 上面的Agent:负责收集日志数据,并且传递给中间的OAP服务器
- 中间的OAP:负责接收Agent发送的Tracing 和Metric的数据信息,然后进行分析(Analysis Core) ,存储到外部存储器( Storage ),最终提供查询( Query )功能。
- 左面的UI:负责提供web控制台,查看链路,查看各种指标,性能等等。
- 右面Storage:负责数据的存储,支持多种存储类型。
看了架构图之后,思路很清晰了,Agent负责收集日志传输数据,通过GRPC的方式传递给OAP进行分析并且存储到数据库中,最终通过UI界面将分析的统计报表、服务依赖、拓扑关系图展示出来。
四、服务端如何搭建
提前说明:当前所使用的版本为8.7.0,不同的版本其启动方式存在差异,需要另外查询资料。
3.1 下载安装包
SkyWalking是通过jar包方式启动,需要下载jar包,我们可以通过下述地址找到并下载Skywalking的8.7.0版本,如下所示:
https://archive.apache.org/dist/skywalking/
3.2 OAP服务的配置
将上述压缩包进行解压,解压以后首先找到 /config/application.yml 目录文件,这个是oap服务的配置文件,需要将配置中心修改为nacos,如下所示:
修改默认注册中心选择nacos,这样就不用在启动参数中指定了。另外由于nacos服务是本地启动的,所以相关的配置不需要修改。
3.3 UI服务的配置
UI服务的配置文件是 /webapp/webapp.yml,其中有一个server.port配置,是UI服务的端口,默认为8080,为避免端口冲突,将其改成8888。
3.4 启动
启动命令在/bin目录下,这里需要启动两个服务,如下所示:
- oap服务:对应的启动脚本oapService.bat,Linux下对应的后缀是sh
- UI服务:对应的启动脚本webappService.bat,Linux下对应的后缀是sh
还有一个startup.bat启动文件,可以直接启动上述两个服务,我们可以直接使用这个脚本,直接双击,将会弹出两个窗口则表示启动成功,如下所示:
浏览器访问localhost:8888,直接进入UI端,如下所示:
再回看Skywalkingj解压后的完整目录,如下所示:
重要的目录结构分析如下:
- agent:客户端需要指定的目录,其中有一个jar,就是负责和客户端整合收集日志
- bin:服务端启动的脚本
- config:一些配置文件的目录
- logs:oap服务的日志目录
- oap-libs:oap所需的依赖目录
- webapp:UI服务的目录
五、客户端如何搭建
客户端也就是单个微服务,由于Skywalking采用字节码增强技术,因此对于微服务无代码侵入,只要是普通的微服务即可,不需要引入什么依赖。
想要传输数据必须借助skywalking提供的agent,只需要在对应服务的启动参数指定agent即可,命令如下:
-javaagent:D:\demo\apache-skywalking-apm-8.7.0\apache-skywalking-apm-bin\agent\skywalking-agent.jar
-Dskywalking.agent.service_name=demo
-Dskywalking.collector.backend_service=127.0.0.1:11800
上述命令解析如下:
- -javaagent:指定skywalking中的agent中的skywalking-agent.jar的路径
- -Dskywalking.agent.service_name:指定在skywalking中的服务名称,一般是微服务的spring.application.name
- -Dskywalking.collector.backend_service:指定oap服务绑定的地址,由于这里是在本地环境中启动oap,并且oap服务默认的端口是11800,因此只需要配置为127.0.0.1:11800
上述参数可以在命令行通过 java -jar xxx 指定,在IDEA中操作如下所示:
如果是在微服务中,每一个微服务都需要配置Skywalking的agent启动配置,配置成功后正常启动即可。
注意:agent的jar包路径不能包含中文,不能有空格,否则运行不成功。
此处构造测试使用的接口/api/hello和/api/chain,后续其它模块也会使用到。
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;@Slf4j
@RestController
@RequestMapping("/api")
public class DemoController {@GetMapping("/hello")public String hello() {log.info("调用了hello方法");return "Hello, SkyWalking!";}@GetMapping("/chain")public String chain() {log.info("调用了chain方法");doSomeThing();return callAnotherService();}private String callAnotherService() {// 模拟调用另一个服务return "Service call chain";}private void doSomeThing(){try{Thread.sleep(1000);}catch (Exception e){e.printStackTrace();}}
}
在准备工作完成以后,启动服务,分别访问localhost:8001/api/hello和localhost:8001/api/chain,然后再去查看Skywalking的UI端。 这里如果想在下述三个模块中可以尽快的看到相关数据,那么建议打开UI界面右上角的 “自动刷新” 功能。(PS:第一次使用时,由于不了解相关的功能特性,所以花了很长的时间研究为什么这三个模块中没有数据,呜呜呜!!!)
查看 “仪表盘模块”,可以看到demo服务已经被监控成功了,如下所示:
查看 “拓扑图模块”,可以看到服务之前的依赖关系,如下所示:
查看 “追踪模块“,请求链路的信息也是能够很清楚的看到,比如请求的url,执行时间、调用的服务,如下所示:
六、数据持久化
你会发现只要服务端重启之后,这些链路追踪数据将会丢失了,因为Skywalking默认持久化的方式是存储在内存中。我们是可以通过插拔方式的替换掉存储中间件,企业中往往是使用ES存储,这里介绍的是MySQL的方式存储。
6.1 修改配置文件
修改config/application.yml文件中的存储方式,总共需要修改两处地方。
第一个地方:修改默认的存储方式为mysql
第二个地方:修改mysql相关的信息,此处我新建了一个名为skywalking_config的数据库
6.2 添加MySQL的jdbc依赖
默认的oap中是没有jdbc驱动依赖,因此需要我们手动添加一下,只需要将驱动的jar放在oap-libs文件夹中,如下所示:
配置完成以后,启动服务端,在skywalking_config这个数据库中将会自动创建表,如下所示:
数据库中新建的表是逐步缓慢创建的,最终一共会有142张表,所以提前创建一个独有的数据库还是很有必要的,与业务数据库分隔开。
七、日志监控
在skywalking的UI端有一个日志的模块,用于收集客户端的日志,默认是没有数据的,我们可以相关的日志框架将日志数据推送到Skywalking中。
日志框架的种类很多,比较出名的有log4j、log4j2、logback,其官方文档如下。
log4j日志框架的文档:
https://skywalking.apache.org/docs/skywalking-java/v8.7.0/en/setup/service-agent/java-agent/application-toolkit-log4j-1.x/
log4j2日志框架的文档:
https://skywalking.apache.org/docs/skywalking-java/v8.7.0/en/setup/service-agent/java-agent/application-toolkit-log4j-2.x/
logback日志框架的文档:
https://skywalking.apache.org/docs/skywalking-java/v8.7.0/en/setup/service-agent/java-agent/application-toolkit-logback-1.x/
下面就以logback日志框架为例子介绍一下如何配置。
7.1 添加依赖
在pom.xml文件中添加下述依赖,如下所示:
<dependency><groupId>org.apache.skywalking</groupId><artifactId>apm-toolkit-logback-1.x</artifactId><version>8.7.0</version>
</dependency>
7.2 添加配置文件
新建一个 logback-spring.xml 放在resource目录下,配置如下:
<configuration scan="true" scanPeriod=" 5 seconds"><!-- 控制台打印tracId的格式,只需要加一个%tid --><appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"><encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder"><layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout"><Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern></layout></encoder></appender><!--异步打印--><appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender"><discardingThreshold>0</discardingThreshold><queueSize>1024</queueSize><neverBlock>true</neverBlock><appender-ref ref="STDOUT"/></appender><!--日志传输到Skywalking中的appender,通过grpc传输--><appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender"><encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder"><layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout"><Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern></layout></encoder></appender><!-- 日志级别为INFO,控制台打印,并且传输到Skywalking --><root level="INFO"><appender-ref ref="ASYNC"/><appender-ref ref="grpc-log"/></root>
</configuration>
7.3 测试日志传输
在上述配置完成以后,启动对应的服务,访问localhost:8001/api/hello和localhost:8001/api/chain接口,控制台打印的日志如下所示:
可以看到控制台中已经打印出了traceId,接着再去Skywalking的日志模块中查看相关的日志,如下所示:
可以看到日志已经传输到了skywalking中,那么则说明前面的配置已经成功!!!
特别说明:在当前Skywalking的8.7.0版本中日志模块的 “时间范围” 选项,在默认情况下不会自动更新数据范围,这样就会给使用者造成一种困扰,当IDEA控制台打印了相关日志以后,我们去Skywalking的日志模块中查询会发现没有数据。那么针对这种情况,就需要我们手动去调整时间范围,然后再点击“搜索”按钮查询相关日志信息。
注意:如果agent和oap服务不在同一台服务器上,需要在/agent/config/agent.config配置文件末尾添加下述4行配置。
plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:10.10.10.1}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}
4个配置分析如下:
- plugin.toolkit.log.transmit_formatted:是否以格式化或未格式化的格式传输记录的数据,默认值为true
- plugin.toolkit.log.grpc.reporter.server_host:指定要向其报告日志数据的grpc服务器的主机,例如192.168.1.2
- plugin.toolkit.log.grpc.reporter.server_port:指定要向其报告日志数据的grpc服务器的端口,默认为11800
- plugin.toolkit.log.grpc.reporter.max message size:指定grpc客户端要报告的日志数据的最大大小,默认值为10485760
- plugin.toolkit.log.grpc,reporter.upstream timeout:客户端向上游发送数据时将超时多长时间,单位是秒,默认值是30
八、性能剖析
Skywalking在性能剖析方面真的是非常强大,提供到基于堆栈的分析结果,能够让运维人员一眼定位到问题。
新建一个/order/list接口,如下所示:
import cn.hutool.core.util.RandomUtil;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;@RestController
@RequestMapping("/order")
public class OrderController {@GetMapping("/list")public void list() throws Exception {Thread.sleep(2000);int sum = 1 + RandomUtil.randomInt(10);System.out.println(sum);}
}
上述代码中休眠了2秒,看看如何在Skywalking中定位这个问题。
在 “性能剖析模块” -> “新建任务” ->选择服务、填写端点、监控时间,如下所示:
上图中选择了最大采样数为5,则直接访问5次localhost:8001/order/list,然后选择这个任务将会出现监控到的数据,如下所示:
上图中可以看到 {GET}/order/list 这个接口上耗费了2秒以上,因此选择这个接口点击分析,可以看到详细的堆栈信息,如下所示:
如何定位到睡眠2秒钟的那一行代码呢?直接往下翻,如下所示:
此时就很清楚了,在OrderController这个接口中线程睡眠了两秒!!!
九、监控告警
Skywalking中有一些默认的告警规则,如下所示:
- 最近3分钟内服务的平均响应时间超过1秒
- 最近2分钟服务成功率低于80%
- 最近3分钟90%服务响应时间超过1秒
- 最近2分钟内服务实例的平均响应时间超过1秒
当然除了上述四种告警规则,随着Skywalking不断迭代也会新增其它规则,这些规则的配置在 config/alarm-settings.yml 配置文件中,如下所示:
每个规则都由相同的属性组成,这些属性的含义如下:
- metrics-name:监控的指标名称(如 service_resp_time)
- threshold:触发告警的阈值(如 > 1000、< 90%)
- op:比较运算符(>,<,=,>=,<=)
- period:多久检查一次当前的指标数据是否符合告警规则,单位是分钟
- count:连续多少次触发阈值才发送告警(如值为3,则表示连续3次超阈值才告警)
- silence-period:在多久之内,忽略相同的告警消息
- message:告警消息内容
- include-names:本规则告警生效的服务列表
如果想要调整默认的规则,比如监控返回的信息,监控的参数等等,只需要改动上述配置文件中的参数即可。
当然除了以上默认的几种规则,Skywalking还适配了一些钩子(webhooks)。其实就是相当于一个回调,一旦触发了上述规则告警,Skywalking则会调用配置的webhook,这样开发者就可以定制一些处理方法,比如发送邮件、微信、钉钉通知运维人员处理。
当然这个钩子也是有些规则的,如下所示:
- POST请求
- application/json 接收数据
- 接收的参数必须是AlarmMessage中指定的参数
特别注意:AlarmMessage这个类随着Skywalking版本的迭代可能出现不同,一定要到对应版本源码中去找到这个类,拷贝其中的属性,这个类在源码的路径:org.apache.skywalking.oap.server.core.alarm。
import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;import cn.hutool.core.collection.CollectionUtil;
import lombok.AllArgsConstructor;
import lombok.EqualsAndHashCode;
import lombok.Getter;
import lombok.NoArgsConstructor;
import lombok.Setter;@Getter
@Setter
@EqualsAndHashCode
@NoArgsConstructor
@AllArgsConstructor
public class Tag {private String key;private String value;@Overridepublic String toString() {return key + "=" + value;}public static class Util {public static List<String> toStringList(List<Tag> list) {if (CollectionUtil.isEmpty(list)) {return Collections.emptyList();}return list.stream().map(Tag::toString).collect(Collectors.toList());}}
}
import lombok.Getter;
import lombok.Setter;import java.util.List;@Setter
@Getter
public class AlarmMessage {private int scopeId;private String scope;private String name;private String id0;private String id1;private String ruleName;private String alarmMessage;private List<Tag> tags;private long startTime;private transient int period;private transient boolean onlyAsCondition;
}
定义一个用于回调的钩子接口,如下所示:
import cn.hutool.json.JSONUtil;
import com.example.demo.dto.AlarmMessage;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;import java.util.List;@RestController
@RequestMapping("/alarm")
public class AlarmController {@PostMapping("/receive")public void receive(@RequestBody List<AlarmMessage> list) {// todo::仅仅打印JSON,至于发送邮件、微信、钉钉自己根据业务需求完成System.out.println(JSONUtil.toJsonPrettyStr(list));}
}
钩子接口完成以后,只需要在 config/alarm-settings.yml 配置文件中添加这个钩子:
好了,这就已经配置完成了,测试也很简单,还是调用上面案例中的睡眠两秒的接口localhost:8001/order/list,多调用几次,则会触发告警,控制台打印日志如下:
对于服务的异常信息,比如接口有较长延迟,Skywalking的 “告警模块” UI界面也会有相关的展示,如下所示:
特别说明:此处我发现了一个问题,就是控制台的钩子接口会先打印出告警信息,在稍微等待一会后(需要一会时间)UI界面才会有相关的告警展示。