log4j日志打印导致OOM问题

一、背景

某天压测,QPS压到一定值后机器就开始重启,出现OOM,好在线上机器配置了启动参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/**/**heapdump.hprof。将dump文件下载到本地,打开Java sdk bin目录下的jvisualvm工具,导入dump文件,发现有非常多的char[]对象,于是开始分析原因。
在这里插入图片描述

二、问题定位

点击工具栏概要,找到发生OutOfMemoryError的线程堆栈,发现报错跟log4j相关。点击工具栏实例数,靠前的对象也基本跟日志打印有关。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
定位到具体的代码行,RequestLogAspect.java:194(对应下面代码倒数第二行),部分代码如下:

// aop 执行后的日志
StringBuilder afterReqLog = new StringBuilder(200);
// 日志参数
List<Object> afterReqArgs = new ArrayList<>();
afterReqLog.append("\n\n================  Response Start  ================\n");
try {Object result = point.proceed();// 打印返回结构体afterReqLog.append("===Result===  {}\n");afterReqArgs.add(toJson(result));return result;
} finally {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);afterReqLog.append("<=== {}: {} ({} ms)\n");afterReqArgs.add(requestMethod);afterReqArgs.add(requestURI);afterReqArgs.add(tookMs);afterReqLog.append("================  Response End   ================\n");log.info(afterReqLog.toString(), afterReqArgs.toArray());
}

三、问题分析

上面这段代码的目的是打印出参,当出参result对象非常大时,高并发情况下,会占用比较多的堆内存。而且这段日志打印的代码,将result转为Json串保存在afterReqArgs里,最后通过log.info输出,而log.info又通过StringBuilder将字符串拼接输出,导致堆内存中有非常多的大字符串对象,最终导致OOM。见log4j源码org.apache.logging.log4j.message.ParameterizedMessage#getFormattedMessage。
在这里插入图片描述

四、问题复现

本机配置:Apple M1芯片,内存16G。设置JVM启动参数-Xmx256m -Xms256m,Jmeter配置如下图。执行后稳定复现OOM。
在这里插入图片描述
在这里插入图片描述

五、解决方案

1、不打印大对象

由于这个压测接口查询的内容就是会很大,所以最简单的方式就是不打印这个大对象出参。通过excludeFullLogPatterns配置哪些接口不打印result。

try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogDiv(requestMethod, requestURI, result, startNs);}
}/*** 分情况打印日志*/
private void printLogDiv(String requestMethod, String requestURI, Object result, long startNs) {if (isExcludeFullResponseLog(requestURI)) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {printFullLog(requestMethod, requestURI, result, startNs);}
}
/*** 打印日志-全量*/
private void printFullLog(String requestMethod, String requestURI, Object result, long startNs) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);if (result == null) {log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {log.info("Response log method[{}], path[{}], tookMs[{}], result[{}]", requestMethod, requestURI, tookMs,toFastJson(result));}
}
/*** 是否排除全量出参日志*/
private final AntPathMatcher antPathMatcher = new AntPathMatcher();
private boolean isExcludeFullResponseLog(String path) {if (CollectionUtils.isEmpty(requestLogProperties.getExcludeFullLogPatterns())) {return false;}return requestLogProperties.getExcludeFullLogPatterns().stream().anyMatch(pattern -> antPathMatcher.match(pattern, path));
}
@Data
@Component
public class RequestLogProperties {/*** 开启出参打印日志*/@Value("${gaotu.request.log.responseEnable:true}")private Boolean responseLogEnable;/*** 不打印完整日志的url*/@Value("#{'${gaotu.request.log.excludeFullLogPatterns:/query/question-list}'?.split(',')}")private List<String> excludeFullLogPatterns;/*** 不打印出参日志的url*/@Value("#{'${gaotu.request.log.excludeResponseLogPatterns:}'?.split(',')}")private List<String> excludeResponseLogPatterns;
}

2、修改log4j配置

设置log4j对应ringBuffer的大小和ringBuffer满时日志的丢弃策略。工具栏实例数显示,ringBuffer中entry对象也非常多。可以参考https://blog.csdn.net/ryo1060732496/article/details/135966098。
在这里插入图片描述
在这里插入图片描述
ringBuffer设置的源码在org.apache.logging.log4j.core.async.DisruptorUtil#calculateRingBufferSize:
在这里插入图片描述
拒绝策略的源码在org.apache.logging.log4j.core.async.AsyncQueueFullPolicyFactory#create:
在这里插入图片描述
具体修改方式为:
(1)通过JVM启动参数配置:-Dlog4j2.asyncLoggerConfigRingBufferSize=512 -DLog4jAsyncQueueFullPolicy=Discard。
在设置-Xmx256m -Xms256m情况下,RingBufferSize设置为1024时会OOM,ringBuffer具体配置看压测而定。
(2)通过log4j2.component.properties配置:

AsyncLoggerConfig.RingBufferSize=512
log4j2.AsyncQueueFullPolicy=Discard
log4j2.DiscardThreshold=INFO

配置文件读取源码在org.apache.logging.log4j.util.PropertiesUtil:
在这里插入图片描述

3、限流

通过限流的方式来打印日志,当超过限流值时不打印出参日志。(本文限流用的RateLimiter)

Object result = null;
try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogLimiter(requestMethod, requestURI, result, startNs);}
}/*** 限流的方式*/
private static Double questionLimit = 20D; //具体设置多少看压测
private static DynamicRateLimiter questionLimiter = DynamicSuppliers.dynamicRateLimiter(() -> questionLimit);
private void printLogLimiter(String requestMethod, String requestURI, Object result, long startNs) {if (questionLimiter.tryAcquire()) {printFullLog(requestMethod, requestURI, result, startNs);} else {log.info("日志打印限流中……");}
}

4、其他

考虑过日志截断,但是截断仍然需要将对象转为Json串再截取,对性能和内存仍然有影响,依然会OOM。

参考资料:

《Log4j2-29-log4j2 discard policy 极端情况下的丢弃策略 同步+异步配置的例子》https://blog.csdn.net/ryo1060732496/article/details/135966098
《Log4j2异步情况下怎么防止丢日志的源码分析以及队列等待和拒绝策略分析》https://www.cnblogs.com/yangfeiORfeiyang/p/9783864.html
《log4j2异步详解及高并发下的优化》:https://blog.csdn.net/qq_35754073/article/details/104116487
《Disruptor详解》:https://www.jianshu.com/p/bad7b4b44e48
《从阿里来个技术大佬,入职就给我们分享Java打日志的几大神坑!》https://blog.csdn.net/qq_42046105/article/details/127626058

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/26187.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

35、matlab设置字体、查看工具包版本、窗口默认布局和程序发布

1、matlab设置字体 1&#xff09;找到预设并点击预设 2&#xff09;设置流程&#xff1a;字体——>自定义——>编辑器——>选择字体及格式——>确定 如图序号所示 2、matlab查看工具包版本&#xff1a;ver命令 1&#xff09;命令行窗口输入命令 即可查看工具包…

如何使用前端表格控件实现数据更新?

前言 小编之前分享过一篇文章叫《如何使用前端表格控件实现多数据源整合&#xff1f;》。今天&#xff0c;继续为大家介绍如何使用前端表格控件来更新已连接的数据源信息。 环境准备 SpreadJS在线表格编辑器&#xff1a; SpreadJS 前端表格控件新版本新增了一款报表插件&am…

快速上手:如何在npm发布自己的插件包

npm&#xff08;Node Package Manager&#xff09;是JavaScript世界中最流行的包管理工具。它不仅用于安装和管理项目的依赖&#xff0c;还可以让开发者发布自己的插件包&#xff0c;使其在社区中分享和复用。本文将详细介绍如何在npm上发布自己的插件包&#xff0c;包括具体步…

Python altair库:轻松打造高颜值数据可视化图表

更多Python学习内容&#xff1a;ipengtao.com Altair是一个基于Vega和Vega-Lite构建的Python数据可视化库。它提供了一个简单且直观的API&#xff0c;能够生成具有交互性的统计图表。Altair的设计理念是通过声明式的语法定义图表&#xff0c;从而简化了复杂图表的创建过程。本文…

VUE脚手架更新

用vue命令创建命令时发现提示需要更新vue-cli 卸载原脚手架 npm uninstall vue-cli -g 升级 npm install -g vue/cli 检查版本 vue -V 注意是大写的v

【PowerDesigner】创建和管理CDM之新建和使用域

目录 &#x1f30a;1. PowerDesigner简介 &#x1f30d;1.1 常用模型文件 &#x1f30d;1.2 PowerDesigner使用环境 &#x1f30a;2. 创建和管理CDM &#x1f30d;​​​​​​2.1 新建CDM &#x1f30d;2.2 新建和使用域 &#x1f30a;3. 研究心得 &#x1f30a;1. Pow…

pxe自动装机:

pxe自动装机&#xff1a; 服务端和客户端 pxe c/s模式&#xff0c;允许客户端通过网络从远程服务器&#xff08;服务端&#xff09;下载引导镜像&#xff0c;加载安装文件&#xff0c;实现自动化安装操作系统。 无人值守 无人值守&#xff0c;就是安装选项不需要人为干预&am…

云计算 目录

云计算 笔记&#xff08;持续更新&#xff09; 第一模块Linux系统管理 第一模块 Linux系统管理 Linux 基本命令Linux 目录和文件管理 Linux 安装及管理应用程序Linux 账号和权限管理Linux 磁盘管理与文件系统Linux LVM与磁盘配额Linux 服务器及RAID磁盘阵列介绍Linux 引导过程…

最全面又最浅显易懂的Langchain快速上手教程(下)

最全面又最浅显易懂的Langchain快速上手教程&#xff08;下&#xff09; 三. 深入Langchain 1. 架构设计 从上文知道Langchain在架构上使用了从抽象、到具体、再到整合适配的三层架构&#xff0c;这种一层一层逐渐具体的设计最大可能性的保证了架构的可扩展性和维护性。同时…

【Vue】封装api接口 - 图片验证码接口

**1.目标&#xff1a;**将请求封装成方法&#xff0c;统一存放到 api 模块&#xff0c;与页面分离 2.原因&#xff1a;以前的模式 页面中充斥着请求代码 可阅读性不高 相同的请求没有复用请求没有统一管理 3.期望&#xff1a; 请求与页面逻辑分离相同的请求可以直接复用请求…

17个有用的CLI命令

作为前端开发工程师&#xff0c;我们需要了解哪些命令&#xff1f;如果您熟悉这些命令&#xff0c;它们将大大提高您的工作效率。 1. tree 你们知道如何列出一个目录的文件结构吗&#xff1f;它在显示文件之间的目录关系方面做得很好 commands ├── a.js ├── b.js ├── …

C++算法——选择排序

C选择排序 思路 选择排序的思路十分的简单 我们需要先有一个数组&#xff1a; 这里用s[8]举例&#xff1a; s[] {118&#xff0c;101&#xff0c;105&#xff0c;127&#xff0c;112} 将数组的第一位*(118)和数组里下表为&#xff1a;0-7 &#xff08;就是第一个到最后一个&a…

廉价耐储存食物推荐: 末日生存爱好者

同志们好 ! 窝是末日生存爱好者, 也就是假想突然失去一切外部物资供应, 然后能够苟活多久 ? 末日生存包括很多个细分的领域, 本文专注于其中一个: 食物. 现代社会由于生产力高度发达, 基础生存物资已经比较便宜了. 比如, 只需几千元 (CNY) 即可建立满足一个人几个月生存的食…

NOS II - Timer定时器

NOS II-Time定时器 简单回忆NIOS II中定时器的使用。 一、定时器的框图 二、定时器寄存器的描述 定时器的寄存器都是16bit的&#xff0c; 偏移量寄存器名称R/W15bit…4bit3bit2bit1bit0bit0Status - 状态寄存器R/W - 可读可写*****runTO1Control - 控制寄存器R/W***stopsta…

2024年高考作文考人工智能,人工智能写作文能否得高分

前言 众所周知&#xff0c;今年全国一卷考的是人工智能&#xff0c;那么&#xff0c;我们来测试一下&#xff0c;国内几家厉害的人工智能他们的作答情况&#xff0c;以及能取得多少高分呢。由于篇幅有限&#xff0c;我这里只测试一个高考真题&#xff0c;我们这里用百度的文心…

异步处理耗时逻辑

在 Spring Boot 中实现 RESTful 接口的快速响应&#xff0c;同时在后台继续处理耗时逻辑&#xff0c;可以使用异步处理技术。以下是一个详细的示例&#xff0c;展示如何使用 Async 注解和 CompletableFuture 来实现这一需求。 使用 Async 注解 步骤 1&#xff1a;启用异步支持…

【最新鸿蒙应用开发】——总结ArkUI生命周期

鸿蒙ArkUI相关的生命周期都有哪些? 1. UIAbility生命周期 onCreate、onWindowStageCreate、onForeground、onBackground、onWindowStageDestroy、onDestroy。 onCreate&#xff1a;Create状态为在应用加载过程中&#xff0c;UIAbility实例创建完成时触发&#xff0c;系统会调…

Spring Boot 分片上传、断点续传、大文件上传、秒传,应有尽有

文件上传是一个老生常谈的话题了&#xff0c;在文件相对比较小的情况下&#xff0c;可以直接把文件转化为字节流上传到服务器&#xff0c;但在文件比较大的情况下&#xff0c;用普通的方式进行上传&#xff0c;这可不是一个好的办法&#xff0c;毕竟很少有人会忍受&#xff0c;…

Feign的动态代理如何配置

Feign 本身已经内置了动态代理的功能&#xff0c;它允许你声明一个接口&#xff0c;并通过这个接口来发送 HTTP 请求&#xff0c;而不需要你手动编写发送 HTTP 请求的代码。Feign 会为你创建这个接口的代理实现&#xff0c;并在运行时拦截对这些方法的调用&#xff0c;将它们转…

APP需要做等保吗?

在数字化时代&#xff0c;APP已成为我们生活中不可或缺的一部分&#xff0c;它们如同无形的桥梁&#xff0c;连接着现实世界与虚拟世界&#xff0c;为我们提供了前所未有的便利。然而&#xff0c;随着APP的普及&#xff0c;其背后潜藏的安全风险也日益凸显。近年来&#xff0c;…