检测Java Web应用程序而无需修改其源代码

与其他系统进行交互时，大多数Java Web应用程序都使用标准Java接口。使用接口javax.servlet.Servlet来实现基于HTTP的服务，例如网页或REST服务器。使用JDBC接口java.sql.Statement和java.sql.Connection实现数据库交互。这些标准几乎是通用的，与基础框架（Spring或Java EE）和Servlet容器（Tomcat，Wildfly等）无关。

本文介绍如何实现Java代理，该Java代理使用Bytecode操作来挂接到这些接口，并收集有关HTTP和数据库调用的频率和持续时间的度量。演示代码可在https://github.com/fstab/promagent上找到，该代码是为Prometheus监视系统检测Java Web应用程序的代理。但是，本文不是Prometheus特有的，它着重于Java代理，字节码操作和类加载器等基础技术。

1. Java代理

Java代理是可以附加到JVM以便操作Java字节码的Java程序。例如，可以使用Java代理来修改接口javax.servlet.Servlet所有实现，以获取有关HTTP调用的数量和持续时间的统计信息。

Java代理以JAR文件的形式提供。常规Java程序使用main()方法作为应用程序的入口点，而Java代理具有premain()方法，该方法将在应用程序的main()方法之前调用：

Java代理概述

public class MyAgent {public static void premain(String agentArgs, Instrumentation inst) throws Exception {// ...}
}

虽然可执行的JAR文件有一个MANIFEST.MF文件中指定Main-Class ，代理JAR文件有一个MANIFEST.MF文件中指定的Premain-Class 。可以使用命令行选项-javaagent:在应用程序启动期间附加代理：

Java代理命令行

java -javaagent:myagent.jar -jar myapp.jar

然后， premain()方法可以调用inst.addTransformer()来注册ClassFileTransformer 。类文件转换器实现了每当加载Java类时都会调用的transform()方法。它可以检查和修改任何Java类的字节码，以添加其他功能。

2.字节码操作

有几个可用的库可帮助Java开发人员实现字节码操作。最低级别的是ASM 。其他库，例如cglib和javassist提供更高级别的API。最新，最易于使用的库是Byte Buddy 。它提供了易于理解的流畅Java API，用于创建ClassFileTransformer并将其注册到Instrumentation ：

字节伙伴代理示例

package io.promagent;import net.bytebuddy.agent.builder.AgentBuilder;
import net.bytebuddy.agent.builder.AgentBuilder.Transformer;
import net.bytebuddy.matcher.ElementMatchers;import java.lang.instrument.Instrumentation;import static net.bytebuddy.matcher.ElementMatchers.hasSuperType;
import static net.bytebuddy.matcher.ElementMatchers.named;public class MyAgent {public static void premain(String agentArgs, Instrumentation inst) throws Exception {new AgentBuilder.Default().type(hasSuperType(named("javax.servlet.Servlet"))).transform(new Transformer.ForAdvice().include(MyAgent.class.getClassLoader()).advice(ElementMatchers.named("service"), "io.promagent.MyAdvice")).installOn(inst);}

上面的示例显示了检测所有javax.servlet.Servlet实现的service()方法所需的完整代码。每当Servlet处理Web请求时，都会调用service()方法。 MyAdvice类定义将注入到Servlet的service()方法中的代码。这段代码使用@Advice.OnMethodEnter和@Advice.OnMethodExit ：

字节好友建议示例

public class MyAdvice {@Advice.OnMethodEnterpublic static void before(ServletRequest request, ServletResponse response) {System.out.println("before serving the request...");}@Advice.OnMethodExitpublic static void after(ServletRequest request, ServletResponse response) {System.out.println("after serving the request...");}
}

Byte Buddy提供了两种检测方法：建议（如上所示）和拦截器。区别是微妙的：通过建议， @Advice.OnMethodEnter和@Advice.OnMethodExit方法的字节码被复制到被拦截方法的开始和最终块中。效果与将代码复制并粘贴到要拦截的service()实现中相同。结果，在完成检测之后，不再使用类MyAdvice 。截获的service()方法不需要访问MyAdvice类，可以在MyAdvice类不可用的类加载器上下文中执行。

另一方面，拦截器是常规方法调用，它们在被拦截方法的开始和最终块中执行。这意味着被拦截的方法必须在拦截器可用的上下文中执行。

在以下各节中，我们将看到在应用服务器环境中类的可见性可能受到限制，这就是Promagent使用Advices而不是Interceptor的原因。

3.添加依赖项

为了将上面的示例变成有用的东西，我们需要用代码维护指标并将指标提供给监视系统来替换System.out.println()消息。例如， Promagent使用Prometheus客户端库来维护和公开Prometheus指标。

JVM自动将使用-javaagent:命令行参数指定的JAR文件添加到应用程序的系统类加载器。因此，从理论上讲，应该可以创建一个包含代理及其所有依赖项的Uber JAR ，并在-javaagent:命令行参数中使用它。

但是，在应用程序服务器环境中，使所有依赖项在系统类加载器上可用都是有问题的，原因有两个：

某些代理的依赖项可能与应用程序服务器内部使用的库或WAR文件中作为已部署应用程序的一部分提供的库发生冲突。
为了防止冲突，应用程序服务器限制了从系统类加载器对类的访问。例如，除非使用jboss.modules.system.pkgs系统属性显式公开了受影响的程序包，否则Wildfly模块无法从系统类加载器访问类。跟踪所有依赖关系并相应地配置模块系统并非易事。

更好的方法是只公开几个Java类，而无需外部依赖系统类加载器，并使用自定义类加载器加载实际的度量实现。这将潜在的冲突和运行代理所需的配置最小化。

4.从自定义类加载器加载钩子

在Java中实现自定义类加载器很容易，因为我们可以简单地使用java.net.URLClassLoader并使用指向我们的类所在的JAR文件的路径对其进行初始化。为了使代理易于使用， Promagent作为包含其他JAR文件的JAR文件提供。内部JAR文件在启动时被复制到临时目录，并且使用临时路径配置了自定义类加载器。这样，用户将获得一个单一的代理JAR，而该代理在内部区分系统类加载器上的类（这些类直接包含在代理JAR中）和定制类加载器上的类（这些类是从JAR中加载的）临时目录）。

实际的工具在称为hook的类中实现。该挂钩是从自定义类加载器加载的。这样，只要自定义类加载器能够提供这些依赖关系，钩子就可以引用它需要的任何依赖关系。例如， ServletHook如下所示：

自定义钩子类示例

public class ServletHook {public void before(ServletRequest request, ServletResponse response) {// ...}public void after(ServletRequest request, ServletResponse response) {// ...}
}

该钩子看起来与Byte Buddy建议类似。区别在于Byte Buddy建议仅是几行代码，这些代码具有最小的依赖性，以便从自定义类加载器加载相应的钩子，并通过反射将其委派给钩子的before()和after()方法。字节伙伴建议对检测库没有任何依赖关系，因为实际的检测库仅在自定义类加载器中可见。

但是，在加载钩子时有一个细微的陷阱：参数ServletRequest和ServletResponse将从已检测的Servlet传递。这意味着，挂钩中的ServletRequest和ServletResponse类必须使用与拦截的Servlet相同的类加载器进行加载，否则我们无法将Servlet的参数传递到挂钩的before()和after()方法中。

解决方案是使用Thread.currentThread().getContextClassLoader()作为自定义类加载器的父级。这样，可以从上下文类加载器加载的所有类都将从上下文类加载器加载。这包括ServletRequest和ServletResponse 。只有当前上下文中不可用的类（例如钩子本身及其依赖项）才会从自定义JAR文件中加载。这意味着我们每个上下文需要一个自定义类加载器，因为每个自定义类加载器都会委托另一个上下文类加载器作为其父代。

5.实施全球指标注册

使用到目前为止描述的实现，可以检测单个Web应用程序。但是，如果应用程序服务器上有多个部署，则每个工具将具有自己的类加载器。从不同的类加载器加载指标库时，部署无法共享在该指标库中定义的全局静态变量。例如，不可能跨多个部署使用Prometheus客户端库随附的全局度量标准注册表。缺少全局注册表，每个部署都需要独立维护和公开其指标。

解决此问题的一种方法是扩展自定义类加载器，并使其委托将共享度量库加载到另一个共享的自定义类加载器。但是，JVM还附带有一个内置的全局注册表，我们可以将其用作VM范围的指标存储：JMX平台MBean服务器。将度量标准注册为MBean具有以下好处：

全局注册表：JMX平台MBean服务器提供了VM范围的注册表，使我们能够维护一组全局指标，以对应用程序服务器上的所有部署进行检测。
监视系统的单个导出器：易于实现一个小型Web应用程序，该应用程序从MBean服务器读取所有度量并将其提供给监视系统。例如， Promagent包含用于将指标导出到Prometheus服务器的WAR部署。
JMX工具：由于所有指标都可以作为MBean使用，因此可以使用任何JMX客户端来了解指标的状态。

JMX平台MBean服务器是Java SE的一部分，可以通过静态方法ManagementFactory.getPlatformMBeanServer()进行访问。在MBean服务器上注册的Java对象称为MBean。 MBean必须在一个接口中定义其可公开访问的API，按照惯例，该接口的名称类似于Java类，并附加了后缀MBean 。例如，要将Counter类注册为MBean，该类必须实现一个名为CounterMBean的接口。每个MBean均可通过唯一的ObjectName寻址。可以使用MBeanServer.invoke()来调用MBean接口中定义的方法。

6.总结

本文概述了如何在不修改Java Web应用程序源代码的情况下对其进行检测。它基于Promagent ，该工具使用Prometheus指标对Java应用程序进行检测。但是，本文重点介绍了诸如Java代理，字节好友字节码操作库之类的基础技术，在诸如Wildfly之类的应用服务器环境中的类加载以及JMX平台MBean服务器。

最好从Promagent示例代码中总结出一些松散的结局，例如如何避免HTTP请求经过多个Servlet链时重复计数。有关更多示例，值得研究相关项目，例如inspectIT或stagemonitor 。