.NET Core 服务实现监控可观测性最佳实践

前言

本次实践主要是介绍 .Net Core 服务通过无侵入的方式接入观测云进行全面的可观测。

环境信息

系统环境：Kubernetes
编程语言：.NET Core ≥ 2.1
日志框架：Serilog
探针类型：ddtrace

接入方案

准备工作

DataKit 部署

DataKit 采⽤ k8s Daemonset 控制器管理，用于采集和接收指标、日志、链路等数据。进入观测云控制台-「集成」-「DataKit」- 「Kubernetes」或「Kubernetes(helm)」，支持 yaml 或 Helm 方式安装 DataKit。

DataKit 详细介绍可参考官方文档：DataKit - 观测云文档

开启 ddtrace 采集器

修改 datakit.yaml，加入 ddtrace ConfigMap

apiVersion: v1
kind: ConfigMap
metadata:name: datakit-confnamespace: datakit
data:#### ddtraceddtrace.conf: |-[[inputs.ddtrace]]endpoints = ["/v0.3/traces", "/v0.4/traces", "/v0.5/traces"]

配置参数参考：DDTrace - 观测云文档

修改 datakit.yaml，挂载配置至容器中

apiVersion: apps/v1
kind: DaemonSet
metadata:labels:app: daemonset-datakitname: datakitnamespace: datakit
spec:...template:...spec:...containers:- env:...volumeMounts:...- mountPath: /usr/local/datakit/conf.d/ddtrace/ddtrace.confname: datakit-confsubPath: ddtrace.conf...

探针下载

根据版本和架构选择不同的探针：Releases · DataDog/dd-trace-dotnet · GitHub

.NET 7 探针链接：Release 2.21.0 · DataDog/dd-trace-dotnet · GitHub
.NET 6 探针链接：Release 2.18.0 · DataDog/dd-trace-dotnet · GitHub

以 debian 环境为例：

.NET 7-debain-下载链接：
- https://github.com/DataDog/dd-trace-dotnet/releases/download/v2.21.0/datadog-dotnet-apm_2.21.0_amd64.deb
.NET 6-debain- 下载链接：
- https://github.com/DataDog/dd-trace-dotnet/releases/download/v2.18.0/datadog-dotnet-apm_2.18.0_amd64.deb

基础镜像改造

修改基础镜像 Dockerfile ，推荐维护一个已注入探针的 .NET 基础镜像，可为其他 .NET 应用复用。

探针建议安装 base 镜像阶段操作，避免 build 阶段丢失安装包
需将探针包存放置工作目录中，如下举例工作目录为 /app/, 可按需修改
以下例子以 .NET7 接入为例，.NET6 接入需替换对应探针

COPY  ./datadog-dotnet-apm_2.21.0_amd64.deb /app/datadog-dotnet-apm_2.21.0_amd64.deb
RUN dpkg -i ./datadog-dotnet-apm_2.21.0_amd64.deb &&  mkdir -p /var/log/datadog/dotnet && chmod a+rwx /var/log/datadog/dotnet

环境变量注入

在服务的 deployment 中添加环境变量，以下变量值可按需修改，其余默认不变。

DD_SERVICE：自定义服务名称
DD_VERSION：自定义服务版本
DD_ENV ：指服务的部署环境标签，这里可默认填写 “test”

      - name: DD_AGENT_HOSTvalueFrom: fieldRef:apiVersion: v1fieldPath: status.hostIP- name: DD_TRACE_AGENT_PORTvalue: "9529"- name: DD_SERVICEvalue: member- name: DD_ENVvalue: test- name: DD_VERSIONvalue: v1.0- name: DD_DOTNET_TRACER_HOMEvalue: /opt/datadog- name: DD_LOGS_INJECTIONvalue: "true"- name: DD_RUNTIME_METRICS_ENABLEDvalue: "true"- name: CORECLR_PROFILERvalue: "{846F5F1C-F9AE-4B07-969E-05C26BC060D8}"- name: CORECLR_ENABLE_PROFILINGvalue: "1"- name: CORECLR_PROFILER_PATHvalue: "/opt/datadog/Datadog.Trace.ClrProfiler.Native.so"- name: DD_DOTNET_TRACER_HOMEvalue: "/opt/datadog"

日志输出格式改造

在项目的 .csproj 里声明依赖引用，如：

Datadog.Trace.Bundle 版本需要根据不同版本修改，.NET6 的版本应为："2.18.0"
Serilog的版本根据项目引用版本即可

<Project Sdk="Microsoft.NET.Sdk"><PropertyGroup><OutputType>Exe</OutputType><TargetFrameworks>net7.0;net462</TargetFrameworks><Platforms>AnyCPU;x64;x86</Platforms></PropertyGroup><ItemGroup><PackageReference Include="Datadog.Trace.Bundle" Version="2.21.0" /><PackageReference Include="Serilog" Version="2.9.0" /></ItemGroup>
</Project>

日志输出文件格式需要引入 Datadog.Trace 包，如：

...
using Datadog.Trace;
...

在日志文件输出中 Enrich FromLogContext()函数，如：

            var loggerConfiguration = new LoggerConfiguration().Enrich.FromLogContext().MinimumLevel.Is(Serilog.Events.LogEventLevel.Information);

在输出的日志格式中添加 {Properties}，如：

            // When using a message template, you must emit all properties using the {Properties} syntax in order to emit the Datadog properties (see: https://github.com/serilog/serilog/wiki/Formatting-Output#formatting-plain-text)// This is because Serilog cannot look up these individual keys by name due to the '.' in the Datadog property names (see https://github.com/serilog/serilog/wiki/Writing-Log-Events#message-template-syntax)// Additionally, Datadog will only parse log properties if they are in a JSON-like map, and the values for the Datadog properties must be surrounded by quotation marks//// Additions to layout:// - {Properties}//loggerConfiguration = loggerConfiguration.WriteTo.File(Path.Combine(AppContext.BaseDirectory, "log-Serilog-textFile.log"),outputTemplate: "{Timestamp:yyyy-MM-dd HH:mm:ss.fff zzz} [{Level:u3}] {Properties} {Message:lj} {NewLine}{Exception}");