K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布

背景

随着K8s和云的普及，越来越多的公司将业务系统部署到云上，并且使用K8s来部署应用。Logtail是SLS提供的日志采集Agent，能够非常好的适应K8s下各种场景的日志采集，支持通过DaemonSet方式和Sidecar方式采集Kubernetes集群的容器标准输出或者文件日志。Logtail作为一个K8s场景下非常重要一个组件，其自身运行状态需要有更好的可观测方案。

K8s中Logtail管控原理

K8s场景下，除了控制台管控之外，Logtail还提供了环境变量和CRD两种配置方式，用来配置容器日志采集。

环境变量方式

环境变量的配置方式，参考文档

环境变量方式管控原理：

Logtail会去扫描所有的容器信息，并获取容器中的环境变量信息
过滤其中包含aliyun_logs_前缀的字段，然后组合成采集配置信息，Logtail同时会用改环境变量作为采集配置中容器过滤的条件
Logtail端收到采集配置的变化后，会调整本地的采集配置，从而实现整个控制流程的闭环。

CRD方式

CRD方式创建采集配置流程，参考文档。

CRD配置原理如上图所示：

K8S内部会注册自定义资源（CRD，CustomResourceDefinition）AliyunLogConfig，并部署alibaba-log-controller
CR对象创建/变化/删除之后，alibaba-log-controller会监听到CR对象的变化，从而对CR对象中指定的logstore、采集配置进行相应的操作
Logtail端收到采集配置的变化后，会调整本地的采集配置，从而实现整个控制流程的闭环。

无论是环境变量的配置方式，还是CRD的配置方式，Logtail的状态都是比较难观测的。

环境变量配置之后，无论配置的是否正确，都不会影响业务容器的正常运行。但是logtail是否读到了环境变量里的配置并且进行了正确的处理，这个用户只能看到最终的结果。如果配置错了，用户也不能拿到及时的反馈，只能看到SLS控制台上，logstore没有创建出来或者采集配置没有创建出来，中间到底哪一个步骤报错了，用户也无法感知。
一个CR配置之后，从K8s的角度来看，只能看到CR对象创建成功了。但是CRD对象创建成功之后，alibaba-log-controller内的处理流程，对于用户来讲，就像黑盒一样。如果出现异常，用户并不清楚究竟是中间哪一步出了问题。

基于以上的问题，SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller，采用K8s事件的方式，将处理流程中的关键事件透出，从而让用户能够更清楚的感知其中发生的异常。

Logtail事件监控实战

限制说明

alibaba-log-controller版本大于等于0.3.2
logtail版本大于等于1.1.2
logtail中目前涵盖的事件
创建project、创建logstore、创建采集配置
alibaba-log-controller中涵盖的事件
创建project、创建logstore、创建采集配置、创建索引、创建ingress日志中心、checkpoint写入

开启Logtail事件监控

未开启过K8s事件中心

步骤一：创建K8s事件中心

登录日志服务控制台。

在日志应用区域的云产品Lens页签中，单击K8s事件中心。
在事件中心管理页面，单击添加。
在添加事件中心页面，配置相关参数。

如果选择已有Project，则从Project下拉框中选择已创建的Project，用于管理K8s事件中心相关资源（Logstore、仪表盘等）。
如果选择从容器服务选择K8s集群，则从K8s集群下拉框中选择已创建的K8s集群。通过此方式创建K8s事件中心，日志服务默认创建一个名为k8s-log-{cluster-id}的Project，用于管理K8s事件中心相关资源（Logstore、仪表盘等）。

单击下一步。

步骤二：部署eventer和node-problem-detector

您需要在Kubernetes集群中配置eventer和node-problem-detector后才能正常使用K8s事件中心。

阿里云Kubernetes配置方式阿里云Kubernetes应用市场中的ack-node-problem-detector已集成eventer和node-problem-detector功能，您只需要部署该组件即可，该组件详细部署请参见事件监控。

登录容器服务控制台。
在左侧导航栏中，选择运维管理 > 组件管理，日志与监控下，单击ack-node-problem-detector。

单击安装、确认。

自建Kubernetes配置方式

部署eventer。更多信息，请参见采集Kubernetes事件。
部署node-problem-detector。更多信息，请参见Github。

已开启过K8s事件中心

由于Logtail事件监控依赖了比较新的索引，因此可以在K8s事件中心页面，点击版本升级的选项，里面有一个索引更新的按钮，点击之后，即可以开启新的索引字段。

Logtail事件监控大盘

Logtail事件监控大盘将各个步骤的结果完整展示出来，并且以时间轴的方式，展示各个事件的先后顺序，同时支持用Project、Logstore、采集配置名参数进行过滤。

针对异常的事件，Logtail事件监控大盘会把异常事件的详情展示出来：

详情字段	含义
time	事件发生的时间
source	事件来源，主要有alibaba-log-controller和logtail
resourceName	主要针对CRD场景下，CRD的名字
configName	采集配置的名字
project	采集配置所属的project
logstore	采集配置所属的logstore
reason	事件产生的原因
message	事件的详细信息
errorCode	异常步骤的错误码
errorMessage	异常步骤的报错信息
requestId	异常步骤的请求标识

针对采集配置的创建、变更、删除操作，Logtail事件监控提供了相关的记录，用于进行操作审计

详情字段	含义
time	事件发生的时间
source	事件来源，主要有alibaba-log-controller和logtail
action	创建、变更或者删除
level	normal或者warning
configName	采集配置的名字
project	采集配置所属的project
logstore	采集配置所属的logstore
logtailconfig	采集配置详情

应用案例

场景1: 通过CRD配置，logstore数量超过quota限制

一个CRD配置如下：

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:name: simple-index-crd-example-0909-no-1
spec:logstore: logstore-quota-test-0909-no-1logtailConfig:inputType: pluginconfigName: simple-index-crd-example-0909-no-1inputDetail:plugin:inputs:-type: service_docker_stdoutdetail:Stdout: trueStderr: trueIncludeEnv:collect_crd_index_out: true

apply之后发现CRD已经创建成功，但是logstore没有创建出来。

通过限制Project、Logstore和采集配置名的条件

打开异常事件详情列表，可以清楚看到创建logstore步骤的异常情况，错误码是ProjectQuotaExceed，报错详情是：project k8s-log-c4551a67027d248bfb049765de783e647, shard count quota exceed。由此，可以直接找到SLS值班的同学，提升quota，从而解决这个问题

场景2: 通过CRD配置，关键参数填写错误

一个CRD配置如下：

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:name: simple-index-crd-example-0909-mock-4
spec:logstore: logstore-quota-test-0909-mock-4logtailConfig:inputType: pluginssconfigName: simple-index-crd-example-0909-mock-4inputDetail:plugin:inputs:-type: service_docker_stdoutdetail:Stdout: trueStderr: trueIncludeEnv:collect_crd_index_out: true

apply之后发现CRD已经创建成功，但是logstore和采集配置也都是没有创建出来。

通过限制Project、Logstore和采集配置名的条件

打开异常事件详情列表，可以清楚看到创建采集配置步骤的异常情况，错误信息里提示：invalid input type : pluginss

由此可以知道原来是CRD里inputType字段的取值有问题，通过采集配置事件详情列表里的记录，也可以清楚看到通过CRD转换之后的采集配置数据。

场景3: 通过环境变量和CRD方式针对同一个Project/Logstore采集配置进行变更，导致的配置冲突

在多人维护一个K8s集群的时候，有可能两个人针对同一份采集配置，通过不同的配置方式进行了修改，这样的问题排查起来往往很麻烦。

我们模拟这样一个场景：

部署一个测试的Pod，环境变量配置如下：

可以看到logstore和采集配置已经创建成功

CRD配置如下：

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:name: taiye-test-0707
spec:logstore: taiye-test-0707logtailConfig:inputType: pluginconfigName: taiye-test-0707inputDetail:plugin:inputs:-type: service_docker_stdoutdetail:Stdout: trueStderr: trueIncludeEnv:conflict-test: true

apply之后发现CRD已经创建成功，采集配置也被覆盖掉了。