操作场景
Prometheus 社区开发了 JMX Exporter 用于导出 JVM 的监控指标,以便使用 Prometheus 来采集监控数据。当您的 Java 业务容器化至 Kubernetes 后,可通过本文了解如何使用 Prometheus 与 JMX Exporter 来监控 Java 应用。
JMX Exporter 简介
Java Management Extensions,JMX 是管理 Java 的一种扩展框架,JMX Exporter 基于此框架读取 JVM 的运行时状态。JMX Exporter 利用 Java 的 JMX 机制来读取 JVM 运行时的监控数据,然后将其转换为 Prometheus 可辨识的 metrics 格式,以便让 Prometheus 对其进行监控采集。
JMX Exporter 提供启动独立进程及 JVM 进程内启动(in-process)两种方式暴露 JVM 监控指标:
1. 启动独立进程 JVM 启动时指定参数,暴露 JMX 的 RMI 接口。JMX Exporter 调用 RMI 获取 JVM 运行时状态数据,转换为 Prometheus metrics 格式,并暴露端口让 Prometheus 采集。
2. JVM 进程内启动(in-process) JVM 启动时指定参数,通过 javaagent 的形式运行 JMX Exporter 的 jar 包,进程内读取 JVM 运行时状态数据,转换为 Prometheus metrics 格式,并暴露端口让 Prometheus 采集。
说明:
官方不建议使用启动独立进程方式,该方式配置复杂且需单独的进程,进程本身的监控又引发了新的问题。本文以 JVM 进程内启动(in-process)方式为例,在 Kubernetes 环境下使用 JMX Exporter 暴露 JVM 监控指标。
这里使用第二种用法,启动 JVM 时需要指定 JMX Exporter 的 jar 包文件和配置文件。 jar 包是二进制文件,不好通过 configmap 挂载,配置文件我们几乎不需要修改, 所以建议是直接将 JMX Exporter 的 jar 包和配置文件都打包到业务容器镜像中。
其中,第二种方式我们可以选择将 JMX Exporter 的 jar 文件放在业务应用镜像中, 也可以选择在部署的时候挂载进去。这里分别对两种方式做一个介绍:
方式一:将 JMX Exporter JAR 文件构建至业务镜像中
prometheus-jmx-config.yaml 内容如下:
prometheus-jmx-config.yaml...
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false
rules:
- pattern: ".*"
然后准备 jar 包文件,可以在 jmx_exporter 的 Github 页面找到最新的 jar 包下载地址并参考如下 Dockerfile:
FROM openjdk:11.0.15-jre
WORKDIR /app/
COPY target/my-app.jar ./
COPY prometheus-jmx-config.yaml ./
RUN set -ex; \curl -L -O https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.17.2/jmx_prometheus_javaagent-0.17.2.jar;
ENV JAVA_TOOL_OPTIONS=-javaagent:/app/jmx_prometheus_javaagent-0.17.2.jar=8088:/app/prometheus-jmx-config.yaml
EXPOSE 8081 8999 8080 8888
ENTRYPOINT java $JAVA_OPTS -jar my-app.jar
注意:
- 启动参数格式:-javaagent:=:
- 这里使用了 8088 端口暴露 JVM 的监控指标,如果和 Java 应用冲突,可自行更改
下面是自己编写的Dockerfile
[root@jenkins dockerfile]# cat Dockerfile
FROM openjdk:8-jdk-alpine
LABEL maintainer lucasENV TZ=Asia/Shanghai
ENV JAVA_OPTS="-Xmx512m -Xms512m"
ENV JAVA_TOOL_OPTIONS="-javaagent:/jmx_prometheus_javaagent-1.0.1.jar=8888:/jmx-config.yaml"COPY demo.jar /
COPY jmx_prometheus_javaagent-1.0.1.jar /
COPY jmx-config.yaml /
WORKDIR /EXPOSE 8000 8888ENTRYPOINT ["/bin/sh"]
CMD ["-c","java $JAVA_OPTS -jar /demo.jar"]
方式二: 通过 init container 容器挂载
我们需要先将 JMX exporter 做成 Docker 镜像, 以下 Dockerfile 仅供参考:
FROM alpine/curl:3.14
WORKDIR /app/
# 将前面创建的 config 文件拷贝至镜像
COPY prometheus-jmx-config.yaml ./
# 在线下载 jmx prometheus javaagent jar
RUN set -ex; \curl -L -O https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.17.2/jmx_prometheus_javaagent-0.17.2.jar;
根据上面 Dockerfile 构建镜像:docker build -t my-jmx-exporter .
在 Java 应用部署 Yaml 中加入如下 init container:
apiVersion: apps/v1
kind: Deployment
metadata:name: my-demo-applabels:app: my-demo-app
spec:selector:matchLabels:app: my-demo-apptemplate:metadata:labels:app: my-demo-appspec:imagePullSecrets:- name: registry-pullinitContainers:- name: jmx-sidecarimage: my-jmx-exportercommand: ["cp", "-r", "/app/jmx_prometheus_javaagent-0.17.2.jar", "/target/jmx_prometheus_javaagent-0.17.2.jar"] ➊volumeMounts:- name: sidecarmountPath: /targetcontainers:- image: my-demo-app-imagename: my-demo-appresources:requests:memory: "1000Mi"cpu: "500m"limits:memory: "1000Mi"cpu: "500m"ports:- containerPort: 18083env:- name: JAVA_TOOL_OPTIONSvalue: "-javaagent:/app/jmx_prometheus_javaagent-0.17.2.jar=8088:/app/prometheus-jmx-config.yaml" ➋volumeMounts:- name: host-timemountPath: /etc/localtimereadOnly: true- name: sidecarmountPath: /sidecarvolumes:- name: host-timehostPath:path: /etc/localtime- name: sidecar #共享 agent 文件夹emptyDir: {}restartPolicy: Always
经过如上的改造之后,示例应用 my-demo-app 具备了暴露 JVM 指标的能力。 运行服务之后,我们可以通过 http://lcoalhost:8088
访问服务暴露出来的 prometheus 格式的指标。
操作步骤
使用 JMX Exporter 暴露 JVM 监控指标
打包镜像
使用 JVM 进程内启动(in-process)方式,启动 JVM 需指定 JMX Exporter 的 jar 包文件和配置文件。jar 包为二进制文件,不便通过 configmap 挂载,建议直接将 JMX Exporter 的 jar 包和配置文件都打包到业务容器镜像中。步骤如下:
(1) 准备一个制作镜像的目录,放入 JMX Exporter 配置文件 prometheus-jmx-config.yaml
。
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false 注意:更多配置项请参考 Prometheus 官方文档。
(2) 准备 jar 包文件,可前往 jmx_exporter 的 Github 页面获取最新的 jar 包下载地址。执行以下命令,下载到当前目录。 https://github.com/prometheus/jmx_exporterhttps://github.com/prometheus/jmx_exporter
(3) 准备 Dockerfile 文件,本文以 Tomcat 为例。
FROM tomcat:jdk8-openjdk-slim
ADD prometheus-jmx-config.yaml /prometheus-jmx-config.yaml
ADD jmx_prometheus_javaagent-0.13.0.jar /jmx_prometheus_javaagent-0.13.0.jar
(4) 执行以下命令,编译镜像。
docker build . -t ccr.ccs.tencentyun.com/imroc/tomcat:jdk8
至此已完成镜像打包,您还可利用 docker 多阶段构建,省略手动下载 jar 包的步骤。Dockerfile 示例如下:
FROM ubuntu:16.04 as jar
WORKDIR /
RUN apt-get update -y
RUN DEBIAN_FRONTEND=noninteractive apt-get install -y wget
RUN wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.13.0/jmx_prometheus_javaagent-0.13.0.jar
FROM tomcat:jdk8-openjdk-slim
ADD prometheus-jmx-config.yaml /prometheus-jmx-config.yaml
COPY --from=jar /jmx_prometheus_javaagent-0.13.0.jar /jmx_prometheus_javaagent-0.13.0.jar
部署 Java 应用
部署应用至 Kubernetes 时,需修改 JVM 启动参数以便启动时加载 JMX Exporter。JVM 启动时会读取 JAVA_OPTS
环境变量,作为额外的启动参数,部署时可为应用增加该环境变量。示例如下:
apiVersion: apps/v1
kind: Deployment
metadata:name: tomcat
spec:replicas: 1selector:matchLabels:app: tomcattemplate:metadata:labels:app: tomcatspec:containers:- name: tomcatimage: ccr.ccs.tencentyun.com/imroc/tomcat:jdk8env:- name: JAVA_OPTSvalue: "-javaagent:/jmx_prometheus_javaagent-0.13.0.jar=8088:/prometheus-jmx-config.yaml"---apiVersion: v1
kind: Service
metadata:name: tomcatlabels:app: tomcat
spec:type: ClusterIPports:- port: 8080protocol: TCPname: http- port: 8088protocol: TCPname: jmx-metricsselector:app: tomcat
- 启动参数格式:
-javaagent:<jar>=<port>:<config>
- 该示例使用8088端口暴露 JVM 的监控指标,您可按需自行更改。
为 JAVA 服务组件添加环境变量 :
JAVA_OPTS = -javaagent:/tmp/agent/jmx_prometheus_javaagent-0.16.1.jar=5556:/tmp/agent/prometheus-jmx-config.yaml
[root@jenkins dockerfile]# curl 192.168.254.110:12345/metrics
添加 Prometheus 监控配置
配置 Prometheus,使监控数据可被采集。示例如下:
- job_name: tomcatscrape_interval: 5skubernetes_sd_configs:- role: endpointsnamespaces:names:- defaultrelabel_configs:- action: keepsource_labels:- __meta_kubernetes_service_label_appregex: tomcat- action: keepsource_labels:- __meta_kubernetes_endpoint_port_nameregex: jmx-metrics
若已安装 prometheus-operator,则可通过创建 ServiceMonitor 的 CRD 对象配置 Prometheus。示例如下:
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:name: tomcatnamespace: defaultlabels:app: tomcat
spec:endpoints:- port: jmx-metricsinterval: 5snamespaceSelector:matchNames:- defaultselector:matchLabels:app: tomcat
添加 Grafana 监控面板
采集数据后可进行数据展示。若熟悉 Prometheus 和 Grafana,则可自行根据指标设计所需面板。您也可直接使用社区提供面板,例如 JVM dashboard。可直接导入使用,面板效果图如下:
参考资料
JMX Exporter 项目地址
JVM 监控面板