部署 Prometheus 和 Grafana 到 k8s
Intro
上次我们主要分享了 asp.net core 集成 prometheus，以及简单的 prometheus 使用，在实际在 k8s 中部署的时候就不能在使用前面讲的静态配置的方式来部署了，需要使用 Prometheus 的服务发现。
部署规划
Prometheus 和 Grafana 的部署放在一个单独的 namespace —— monitoring 下面，这样的好处在于可以屏蔽掉一些细节，别的 namespace 无感知，也不需要知道它们的存在
可以使用 kubectl create namespace monitoring 来创建命名空间或者 kubectl apply 执行下面的 yaml 配置
apiVersion: v1
kind: Namespace
metadata:name: monitoring
希望 prometheus 和 grafana 可以公网访问，所以需要配置一下端口号，NodePort 31100~31200 保留为基础设施使用的端口，31110 保留为 prometheus 需要的端口，31120 保留为 Grafana 端口，端口规划好后，就可以先配置 nginx 了，增加 nginx 配置如下：
server {listen 443;server_name monitoring.weihanli.xyz;location / {proxy_pass http://172.18.0.2:31110;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}
}
server {listen 443;server_name grafana.weihanli.xyz;location / {proxy_pass http://172.18.0.2:31120;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}
}
Grafana 比较简单，部署一个 service，部署一个 deployment 就可以了，Prometheus 要把配置文件放到 ConfigMap 里单独管理，另外 Prometheus 涉及到要使用 k8s 服务发现，需要创建一个 serviceAccount 以有权限来获取 k8s 中的资源
部署 Grafana
部署 deployment，deployment yaml 如下，可以根据自己需要进行调整
apiVersion: apps/v1
kind: Deployment
metadata:name: grafananamespace: monitoringlabels:app: grafana
spec:replicas: 1revisionHistoryLimit: 2selector:matchLabels:app: grafanaminReadySeconds: 0strategy:type: RollingUpdaterollingUpdate:maxUnavailable: 1maxSurge: 1template:metadata:labels:app: grafanaspec:containers: - name: grafanaimage: grafana/grafanaimagePullPolicy: IfNotPresentresources:limits:memory: "128Mi"cpu: "50m"readinessProbe:httpGet:path: /api/healthport: 3000initialDelaySeconds: 60periodSeconds: 10livenessProbe:tcpSocket:port: 3000initialDelaySeconds: 60periodSeconds: 10ports:- containerPort: 3000根据上面的 yaml 定义创建 Grafana 的 deploy，创建之后再创建 service
apiVersion: v1
kind: Service
metadata:name: grafananamespace: monitoring
spec:selector:app: grafanatype: NodePortports:- protocol: TCPport: 3000targetPort: 3000nodePort: 31120
创建之后就可以在 k8s 集群外部访问到 Grafana 了，通过前面 nginx 的配置我们就可以直接通过域名访问了
部署 Prometheus
ServiceAccount
首先我们先创建一个 Service Account，k8s 使用基于角色的 RBAC 授权机制，创建 ServiceAccount 之后还需要创建一个 ClusterRole 和 ClusterRoleBinding，ClusterRole 用于指定权限，ClusteRoleBinding 用来给 serviceAccount 关联角色，为了方便这几个都定义在了一个 yaml 文件中
apiVersion: v1
kind: ServiceAccount
metadata:name: prometheusnamespace: monitoring---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: prometheus
rules:
- apiGroups: [""]resources:- nodes- services- endpoints- podsverbs: ["get", "list", "watch"]
- apiGroups: [""]resources:- configmapsverbs: ["get"]
- nonResourceURLs: ["/metrics"]verbs: ["get"]---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: prometheus
roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: prometheus
subjects:
- kind: ServiceAccountname: prometheusnamespace: monitoringConfigMap
创建 ServiceAccount 之后，我们创建 Prometheus 的配置文件，放在 ConfigMap 中挂载在 Prometheus 里
apiVersion: v1
kind: ConfigMap
metadata:name: prometheus-confignamespace: monitoring
data:default: |# my global configglobal:scrape_interval: 10s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.rule_files:# - "first_rules.yml"# - "second_rules.yml"# A scrape configuration containing exactly one endpoint to scrape:scrape_configs:- job_name: 'kubernetes-service-endpoints'kubernetes_sd_configs:- role: endpointsrelabel_configs:- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_should_be_scraped]action: keepregex: true- action: labelmapregex: __meta_kubernetes_pod_label_(.+)- source_labels: [__meta_kubernetes_namespace]action: replacetarget_label: k8s_namespace- source_labels: [__meta_kubernetes_service_name]action: replacetarget_label: k8s_service- source_labels: [__meta_kubernetes_pod_name]separator: ;regex: (.*)replacement: $1target_label: k8s_podaction: replace执行上面的 yaml 配置以部署 prometheus 需要的配置
我们可以利用 prometheus 的 relabel 的机制将一些元数据信息应用的 metrics 信息上，这样我们就可以知道这个 metrics 信息是来自哪一个 namespace 下面哪一个 service 哪一个 Pod 里，在 Prometheus targets 的界面可以看到所有的 metadata label，或者参考文档上的介绍 https://prometheus.io/docs/prometheus/latest/configuration/configuration#kubernetes_sd_config
__meta_kubernetes_service_annotation_prometheus_io_should_be_scraped 是我后面加上的，不加这个的话，会尝试从所有的 k8s 资源中获取 metrics 信息，这回导致很多没有集成 Prometheus metrics 的资源也会被持续访问，所以增加了这个配置，如果 service 里的 annotation 里有 prometheus.io/should_be_scraped 配置的话 Prometheus 才会去拉取 metrics 信息
需要 Prometheus 抓取 metrics 的 service 配置实力：
apiVersion: v1
kind: Service
metadata:name: reservation-serverannotations:prometheus.io/should_be_scraped: "true"
spec:selector:app: reservation-servertype: NodePortports:- protocol: TCPport: 80targetPort: 80nodePort: 31220
如果后面需要配置不同的 metrics_path，也可以使用类似的模式来增加一个 prometheus.io/metrics-path 类似的配置转换成真正要拉取 metrics 信息的 path 即可
Deployment
前面 Prometheus 部署所需要的 serviceAccount 和 config 我们都已经准备好了，执行下面的 yaml 配置就可以部署应用了
apiVersion: apps/v1
kind: Deployment
metadata:name: prometheusnamespace: monitoringlabels:app: prometheus
spec:replicas: 1revisionHistoryLimit: 2 # how many old ReplicaSets for this Deployment you want to retain, https://kubernetes.io/docs/concepts/workloads/controllers/deployment/#clean-up-policyselector:matchLabels:app: prometheusminReadySeconds: 0strategy:type: RollingUpdaterollingUpdate:maxUnavailable: 1maxSurge: 1template:metadata:labels:app: prometheusspec:serviceAccountName: prometheuscontainers:- name: prometheusimage: prom/prometheusimagePullPolicy: IfNotPresentresources:limits:memory: "512Mi"cpu: "200m"readinessProbe:httpGet:path: /-/readyport: 9090initialDelaySeconds: 60periodSeconds: 10livenessProbe:httpGet:path: /-/healthyport: 9090initialDelaySeconds: 60periodSeconds: 10ports:- containerPort: 80volumeMounts:- name: configmountPath: /etc/prometheus/prometheus.ymlsubPath: defaultvolumes:- name: configconfigMap:name: prometheus-configService
deployment 创建之后，只要根据下面的配置创建 service 就可以访问了
apiVersion: v1
kind: Service
metadata:name: prometheusnamespace: monitoring
spec:selector:app: prometheustype: NodePortports:- protocol: TCPport: 9090targetPort: 9090nodePort: 31110Sample
运行 kubectl get all -n monitoring 查看部署之后的资源情况：
打开 prometheus 可以执行一个简单的查询，看一下
在 Grafana 中添加 DataSource，域名使用 service name prometheus 即可，这样可以通过内网去访问，就不需要绕公网走一圈了
新建一个 Dashboard 把刚才的查询通过 Grafana 来做一个展示，新建一个 Panel，输入刚才我们执行的查询
Legend 中可以使用 lable，使用语法可以用 {{label_name}}
可以在右侧方便设置显示最小值，最大值，平均值，当前值和总计
如果要添加筛选条件如只看某一个 app 的数据，可以在查询表达式中添加条件，使用语法 metrics_name{label_name="label_value"}
更多查询语法可以参考官方文档的介绍 https://prometheus.io/docs/prometheus/latest/querying/basics/
More
上面部署的时候没有做数据的挂载，实际部署的时候需要考虑挂载数据目录，这样即使服务重启，数据还是在的，如果不关心数据问题的话可以忽略
Reference
https://github.com/OpenReservation/ReservationServer/blob/dev/k8s/prometheus/deployment.yaml
https://github.com/OpenReservation/ReservationServer/blob/dev/k8s/prometheus/configMap.yaml
https://github.com/OpenReservation/ReservationServer/blob/dev/k8s/grafana/deployment.yaml
https://github.com/OpenReservation/ReservationServer/blob/dev/k8s/grafana/service.yaml
https://medium.com/kubernetes-tutorials/monitoring-your-kubernetes-deployments-with-prometheus-5665eda54045
https://prometheus.io/docs/prometheus/latest/configuration/configuration
https://prometheus.io/docs/prometheus/latest/querying/basics/
