Java 内存溢出(OOM)问题的排查与解决

在 Java 开发中,内存溢出(OutOfMemoryError,简称 OOM)是一个常见且棘手的问题。相比于数组越界、空指针等业务异常,OOM 问题通常更难定位和解决。本文将通过一次线上内存溢出问题的排查过程,分享从问题表现到最终解决的完整思路,希望能为遇到类似问题的开发者提供参考。

1 内存溢出与内存泄露

在 Java 中,与内存相关的问题主要有两种:内存溢出内存泄露

  • 内存溢出(Out Of Memory):指应用程序申请内存时,JVM 没有足够的内存空间。可以形象地理解为“去蹲坑发现坑位满了”。
  • 内存泄露(Memory Leak):指应用程序申请了内存但没有释放,导致内存空间浪费。可以形象地理解为“有人占着茅坑不拉屎”。

1.1 内存溢出

在 JVM 的内存区域中,除了程序计数器,其他内存区域都有可能发生内存溢出。Java 堆是存储对象实例的区域,只要不断创建对象,并确保这些对象与 GC Roots 之间存在可达路径,避免被垃圾回收机制清除,就一定会发生内存溢出。

例如,以下代码会不断创建对象,最终导致内存溢出:

public class OOM {public static void main(String[] args) {List<Object> list = new ArrayList<>();while (true) {list.add(new Object());}}
}

运行该程序时,可以通过设置 JVM 参数 -Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError 来限制堆内存大小为 20M,并在发生 OOM 时生成内存快照。
在这里插入图片描述

1.2 内存泄露

内存泄露是指程序中动态分配的堆内存由于某种原因未能释放,导致系统内存浪费,进而可能引发程序运行速度减慢甚至系统崩溃。简单来说,内存泄露是由于应该被垃圾回收的对象未能被回收,导致内存占用不断增加,最终可能导致内存溢出。

例如,以下代码中,数据库连接未关闭,导致内存泄露:

public class MemoryLeak {public static void main(String[] args) {try {Connection conn = null;Class.forName("com.mysql.jdbc.Driver");conn = DriverManager.getConnection("url", "", "");Statement stmt = conn.createStatement();ResultSet rs = stmt.executeQuery("....");} catch (Exception e) {// 异常日志} finally {// 1. 关闭结果集 Statement// 2. 关闭声明的对象 ResultSet// 3. 关闭连接 Connection}}
}

如果连接未关闭,GC 将无法回收相关对象(如 ConnectionStatementResultSet 等),从而导致内存泄露。

换句话说,内存泄露不是内存溢出,但会加快内存溢出的发生。

2 内存溢出的表现

在生产环境中,内存溢出问题通常随着业务量的增长而频繁出现。例如,某应用程序从 Kafka 消费数据并进行批量持久化操作,随着 Kafka 消息量的增加,OOM 问题出现的频率也越来越高。虽然重启可以暂时解决问题,但这并非长久之计。

3 内存泄露的排查

为了排查内存泄露问题,首先需要分析运维收集的内存数据和 GC 日志。通过 jstat 工具可以发现,老年代的内存使用率即使在发生 Full GC 后仍然居高不下,且随着时间的推移逐渐增加。这表明应用程序中存在大量无法回收的对象。
在这里插入图片描述

4 内存泄露的定位

由于生产环境的内存快照文件较大(几十 GB),使用 MAT(Memory Analyzer Tool)进行分析耗时较长。因此,我们尝试在本地复现问题。通过将本地应用的最大堆内存设置为 150M,并模拟 Kafka 数据消费,使用 VisualVM 监控内存和 GC 情况。

经过多次尝试,发现只有在模拟生产环境的数据量(每次从 Kafka 取出几百条数据)时,才能复现内存溢出问题。通过 VisualVM 的 HeapDump 功能,发现 com.lmax.disruptor.RingBuffer 类型的对象占用了近 50% 的内存。
在这里插入图片描述

5 内存泄露的解决

通过代码审查,发现从 Kafka 取出的数据直接放入 Disruptor 环形队列中,而队列的大小配置为 1024 * 1024,导致内存中积累了大量的对象。通过将队列大小调整为较小的值(如 2),问题得到解决。
在这里插入图片描述

Disruptor 是一个高性能的异步处理框架,它的核心思想是:通过无锁的方式来实现高性能的并发处理,其性能是高于 JDK 的 BlockingQueue 的。

6 总结

虽然最终只是修改了一行代码(或配置),但整个排查过程非常有意义。通过这次经历,我们可以更好地理解 JVM 内存管理的机制,并掌握排查内存溢出和内存泄露问题的基本方法。同时,也提醒我们在使用高性能框架(如 Disruptor)时,必须谨慎配置参数,避免因不当使用而导致内存问题。

7 思维导图

在这里插入图片描述

8 参考链接

一次内存溢出的排查优化实战,彻底干掉臭名昭著的 OOM

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/65104.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AF3 AtomAttentionEncoder类解读

AlphaFold3的AtomAttentionEncoder 类用于处理基于原子的表示学习任务。 源代码: class AtomAttentionEncoderOutput(NamedTuple):"""Structured output class for AtomAttentionEncoder."""token_single: torch.Tensor # (bs, n_tokens, c_…

【51单片机零基础-chapter3:按键:独立按键|||附带常见C语句.逻辑运算符】

将unsigned char var0;看作沟通二进制和十进制的桥梁 var是8位,初始为0000 0000; 同时可以进行十进制的运算 逻辑运算 位运算 & 按位与(有0则0) | 按位或(有1则1) ~ 按位非 ^ 按位异或(相同则1,不同为0) <<按位左移 >>按位右移 位运算符解释: 0011 1100 <&…

游戏如何检测iOS越狱

不同于安卓的开源生态&#xff0c;iOS一直秉承着安全性更高的闭源生态&#xff0c;系统中的硬件、软件和服务会经过严格审核和测试&#xff0c;来保障安全性与稳定性。 据FairGurd观察&#xff0c;虽然iOS系统具备一定的安全性&#xff0c;但并非没有漏洞&#xff0c;如市面上…

在Lua中,Metatable元表如何操作?

Lua中的Metatable&#xff08;元表&#xff09;是一个强大的特性&#xff0c;它允许我们改变表&#xff08;table&#xff09;的行为。下面是对Lua中的Metatable元表的详细介绍&#xff0c;包括语法规则和示例。 1.Metatable介绍 Metatable是一个普通的Lua表&#xff0c;它用于…

Python基于matplotlib实现树形图的绘制

在Python中&#xff0c;你可以使用matplotlib库来绘制树形图&#xff08;Tree Diagram&#xff09;。虽然matplotlib本身没有专门的树形图绘制函数&#xff0c;但你可以通过组合不同的图形元素&#xff08;如线条和文本&#xff09;来实现这一点。 以下是一个简单的示例&#…

2 秒杀系统架构

第一步 思考面临的问题和业务场景 秒杀系统面临的问题: 短时间内并发非常高&#xff0c;如果按照秒杀的并发做相应的承载会造成大量资源的浪费。第二解决超卖的问题。 第二步 思考目前的处境和解决方案 因为秒杀系统属于短时间内的高并发问题&#xff0c;我们不可能使用那么…

12306分流抢票软件 bypass v1.16.43 绿色版(春节自动抢票工具)

软件介绍 12306Bypass分流抢票软件&#xff0c;易操作强大的12306抢票软件&#xff0c;全程自动抢票&#xff0c;云识别验证码打码&#xff0c;多线程秒单、稳定捡漏&#xff0c;支持抢候补票、抢到票自动付款&#xff0c;支持多天、多车次、多席别、多乘客、短信提醒等功能。…

浅谈torch.utils.data.TensorDataset和torch.utils.data.DataLoader

1.torch.utils.data.TensorDataset 功能定位 torch.utils.data.TensorDataset 是一个将多个张量&#xff08;Tensor&#xff09;数据进行简单包装整合的数据集类&#xff0c;它主要的作用是将相关联的数据&#xff08;比如特征数据和对应的标签数据等&#xff09;组合在一起&…

【Go】运行自己的第一个Go程序

运行自己的第一个Go程序 一、Go语言的安装Go环境安装查看是否安装成功配置GOPROXY(代理) 二、Goland安装三、Goland破解四、新建项目 开一篇专栏记录学习Go的过程&#xff0c;一门新语言从hello world开始&#xff0c;这篇文章详细讲解Go语言环境搭建及hello world实现 一、Go语…

计算机的错误计算(二百零一)

摘要 用两个大模型计算 &#xff0c;结果保留 10位有效数字。实验表明&#xff0c;两个大模型的输出均只有1位正确数字&#xff1b;并它们几乎相同&#xff1a;仅最后1位数字不同。 例1. 计算 , 结果保留 10位有效数字。 下面是与一个数学解题器的对话。 以上为与一个数学解…

下载excel

1.引入依赖 <dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>5.2.5</version></dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-oo…

2024 年度时序数据库 IoTDB 论文总结

论文成果总结 2024 年度&#xff0c;时序数据库 IoTDB 在数据库领域 CCF-A 类国际会议上共发表论文 8 篇&#xff0c;包括&#xff1a;SIGMOD 3 篇、VLDB 3 篇、ICDE 2 篇&#xff0c;涵盖存储、引擎、查询、分析等方面。 2024 最后一天&#xff0c;我们将分类盘点 IoTDB 本年的…

ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32‘ not found

这个问题之前遇到过&#xff0c;没有记录&#xff0c;导致今天又花了2小时 原因是没有GLIBC——2.32 使用以下命令查一下有哪些版本&#xff1a; strings /lib/x86_64-linux-gnu/libm.so.6 | grep GLIBC_ 我已经安装好了&#xff0c;所有有2.32版本 原因是当前的ubuntu版本…

海南省大数据发展中心:数据资产场景化评估案例手册(第二期)

2025年1月3日&#xff0c;海南省数据产品超市印发《数据资产场景化评估案例手册&#xff08;第二期&#xff09;》&#xff08;以下简称《手册》&#xff09;&#xff0c;该手册是基于真实数据要素典型应用场景进行数据资产评估操作的指导性手册&#xff0c;为企业在数据资产入…

python3GUI--智慧交通监控与管理系统 By:PyQt5

文章目录 一&#xff0e;前言二&#xff0e;预览三&#xff0e;软件组成&技术难点1.软件组成结构2.技术难点3.项目结构 四&#xff0e;总结 大小&#xff1a;35.5 M&#xff0c;软件安装包放在了这里! 一&#xff0e;前言 博主高产&#xff0c;本次给大家带来一款我自己使…

Linux高并发服务器开发 第八天(makefile的规则 wildcard/patsubst函数 普通变量/自动变量/其他关键字)

目录 1.makefile 1.1makefile的规则 1.2两个函数 1.3三个自动变量 1.3.1普通变量 (自定义变量) 1.3.2自动变量 1.3.3其他关键字 - ALL/all - clean 1.makefile - 作用&#xff1a;进行项目管理。 - 初步学习&#xff1a;1个规则、2个函数、3个自动变量。 - 要想使用默…

Vue动态控制disabled属性

参考:https://blog.csdn.net/guhanfengdu/article/details/126082781 在Vue中disabled:的值是受布尔值影响的&#xff0c;false为关闭禁用&#xff0c;true为开启禁用效果。 结果就是true会让按钮禁用 相反false会让按钮重新可以使用 那如果想要通过id属性值来判断是否禁用…

【DevOps】Jenkins项目发布

Jenkins项目发布 文章目录 Jenkins项目发布前言资源列表基础环境一、Jenkins发布静态网站1.1、项目介绍1.2、部署Web1.3、准备gitlab1.4、配置gitlab1.5、创建项目1.6、推送代码 二、Jenkins中创建gitlab凭据2.1、创建凭据2.2、在Jenkins中添加远程主机2.3、获取gitlab项目的UR…

每日一学——自动化工具(Jenkins)

3.2 Jenkins 3.2.1 CI/CD流程设计 嘿&#xff0c;小伙伴们&#xff01;今天我们来聊聊Jenkins——这个在持续集成&#xff08;CI&#xff09;和持续部署&#xff08;CD&#xff09;领域里大名鼎鼎的工具。Jenkins不仅可以帮我们自动化构建和测试代码&#xff0c;还能自动部署…

Vue2/Vue3使用DataV

Vue2 注意vue2与3安装DataV命令命令是不同的Vue3 DataV - Vue3 官网地址 注意vue2与3安装DataV命令命令是不同的 vue3vite 与 Vue3webpack 对应安装也不同vue3vite npm install kjgl77/datav-vue3全局引入 // main.ts中全局引入 import { createApp } from vue import Da…