本节重点介绍 :

• k8s中关注四大块指标总结
  • 容器基础资源指标
  • k8s资源指标
  • k8s服务组件指标
  • 部署在pod中业务埋点指标

k8s关注指标分析

k8s中组件复杂，我们主要专注的无外乎四大块指标：

容器基础资源指标

为何关注这些指标

• 我们的应用从独享一台机器上迁移到k8s中
• 我们首要关心的肯定还是这个应用占用的基础资源指标
• 比如我这个应用使用了多少cpu、多少内存、使用多少存储等。

容器采集细节

• 在机器上这些指标原来是由node_exporter采集到的
• 我们知道node_exporter是通过查看/proc/stats等一些列伪文件系统计算相关指标来完成单机级别的采集的。
• 一个pod对应多个容器运行在宿主机上，其实对应就是一个个单独的进程。那么采集到每个进程的cpu内存等信息就是对应容器的指标。
• 具体就是拿到进程的pid，通过查看pid下面的伪文件系统/proc/<pid>/stats完成采集。

指标举例

• 容器cpu闲置率，举例图片
• 容器内存利用率，举例图片

k8s资源指标

为何关注这些指标

• 同时我们的应用很少会直接以pod形式跑着k8s中
• 更多的是以deployment、daemonset、statefulset 部署
• 那么我们也需要关注下这些k8s资源的相关指标，比如使用了多少个deployment，运行的副本数，健康状况等。

采集细节

• 这些指标都来自于kube-stats-metrics项目

指标举例

• 比如查看下因为拉取镜像失败导致waiting的容器 kube_pod_container_status_waiting_reason{reason="ErrImagePull"}==1
• 查看下发生oom的容器 kube_pod_container_status_last_terminated_reason{reason="OOMKilled"}==1
• 最近十分钟内有重启 (kube_pod_container_status_restarts_total - kube_pod_container_status_restarts_total offset 10m >= 1)
• 比如查看节点因为内存有压力不可用 kube_node_status_condition{condition="MemoryPressure",status="true"}==1

k8s服务组件指标

为何关注这些指标

• 在搭建k8s集群过程中我们知道，master节点上运行着 apiserver、etcd、kube-scheduler、kube-controller-manager，由它们组成服务组件
• 那么k8s的运维管理人员肯定要关注下它们的运行状况。
• 站在k8s集群管理员的角度，服务组件的健康状况需要额外的关注。

采集细节

• 这些指标都来自于kube-stats-metrics项目

指标举例

• 在监控apiserver时，我们可以重点关注四大黄金指标：延迟、请求qps、错误数、饱和度。
  apiserver_request_total代表apiserver的请求计数器，所以我们可以使用sum(rate(apiserver_request_total{job="kubernetes-apiservers",code=~"2.."}[5m]))来计算apiserver请求成功的qps。
• 所以响应=2xx的qps除以总的qps就是apiserver的请求成功率，表达式如下。可以设置成功率低于95%的告警。
  100 * sum(rate(apiserver_request_total{job="kubernetes-apiservers",code=~"2.."}[5m])) /sum(rate(apiserver_request_total{job="kubernetes-apiservers"}[5m]))
• 同理也可以关注4xx和5xx的错误qps，表达式如下
  sum(rate(apiserver_request_total{job="kubernetes-apiservers",code=~"[45].."}[5m]))

部署在pod中业务埋点指标

为何关注这些指标

• 因为各个业务先的研发会引用prometheus的sdk，将相关指标暴露在pod中，比如支付接口的请求延迟。
• 那么各个业务线的运维人员在使用k8s时需要关注他们的指标

k8s中关注四大块指标总结

指标类型	采集源	应用举例	发现类型	grafana截图
容器基础资源指标	kubelet 内置cadvisor metrics接口	查看容器cpu、mem利用率等	k8s_sd node级别直接访问node_ip	容器基础资源
k8s对象资源指标	kube-stats-metrics (简称ksm)	具体可以看 看pod状态如pod waiting状态的原因 数个数如：查看node pod按namespace分布情况	通过coredns访问域名	k8s对象资源指标
k8s服务组件指标	服务组件 metrics接口	查看apiserver 、scheduler、etc、coredns请求延迟等	k8s_sd endpoint级别	k8s服务组件指标
部署在pod中业务埋点指标	pod 的metrics接口	依据业务指标场景	k8s_sd pod级别，访问pod ip的metricspath

本节重点总结 :

-k8s中关注四大块指标总结
- 容器基础资源指标
- k8s资源指标
- k8s服务组件指标
- 部署在pod中业务埋点指标