kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space

文章目录

    • 现象
    • 排查
    • 解决

现象

  • 我们信控平台使用Java语言开发，Spring Cloud微服务架构，采用容器化部署，所有服务都部署在docker里面，使用docker-compose进行管理，使用portainer进行监控
  • 平台部署客户现场后，一切功能正常，客户已经使用三个月左右。最后一次更新时一个月前，代码版本也比较新
  • 客户需要测试一些我们平台的新功能，周六我们优化人员，开始测试特勤服务。测试时发现平台异常，路口信号灯态数据不再更新，也没有特勤车辆轨迹上报
  • 正常情况下，特勤设备会实时上报位置信息，信号灯也会实时上报路口灯态，当特勤车辆到达指定位置时，信号灯做出相应的放行
  • 路口实时灯态变动信息和特勤设备轨迹GPS信息，都是通过kafka，汇总到数据中心，再通过socket推送到网页前端，进行展示
  • 一开始怀疑是nginx问题，怀疑是服务重启时，nginx没重启导致的（参考这篇博客：socketio连接失败，nginx返回502 connect failed）
  • 重启了nginx服务，仍然不管用，排除这个问题

排查

  • 周一的时候，联系了现场优化人员。使用portainer服务监控工具，查看各个docker服务最新日志，没发现报错信息
  • 在平台里的特勤管理界面，按下键盘的F12键，查看socket.io请求，也没有报错，对应着查看nginx日志，也没有报错，都是200。再次尝试将nginx重启，果然还是不行
  • 怀疑数据中心datacenter服务问题，重启docker restart datacenter，问题没了，算是解决了
  • 于是让现场优化人员，帮忙拉取了该datacenter服务最近一周的日志。查看了最近一周的日志记录，前几天没有任何报错信息，直到周五（周六特勤测试发现问题的），在日志里第一次看到了ERROR信息，kafka报错，消费的时候的报错，连接被重置
  • 先是几个NIO的报错
09:42:44.572 ERROR --- [tLoopGroup-3-72] c.c.s.listener.DefaultExceptionListener  : Connection reset by peer
java.io.IOException: Connection reset by peer
at java.base/sun.nio.ch.FileDispatcherImpl.read0(Native Method)
at java.base/sun.nio.ch.SocketDispatcher.read(Unknown Source)
at java.base/sun.nio.ch.IOUtil.readIntoNativeBuffer(Unknown Source)
at java.base/sun.nio.ch.IOUtil.read(Unknown Source)
at java.base/sun.nio.ch.IOUtil.read(Unknown Source)
at java.base/sun.nio.ch.SocketChannelImpl.read(Unknown Source)
at io.netty.buffer.PooledByteBuf.setBytes(PooledByteBuf.java:258)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:1132)
at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:350)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:151)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:722)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:658)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:584)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:496)
at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:986)
at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74)
at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
at java.base/java.lang.Thread.run(Unknown Source)
  • 第一次出现报错，是周五的09:42，后面有短时间连续出现4次以上报错。再之后就是晚上18:40，之后时不时报一下这个错误
  • 再后边到晚上20:25，还是kafka的报错，但是是一个新的报错信息：内存溢出java.lang.OutOfMemoryError: Java heap space，后边就是频繁的内存溢出了
2023-07-21 20:25:02.502 ERROR  --- [6b-65eb9dd3e3e4] o.a.k.c.c.internals.ConsumerCoordinator  : [Consumer clientId=consumer-anonymous.021c2acd-7a68-41d4-816b-65eb9dd3e3e4-52, groupId=anonymous.021c2acd-7a68-41d4-816b-65eb9dd3e3e4] Heartbeat thread failed due to unexpected error
java.lang.OutOfMemoryError: Java heap space
at java.base/java.nio.HeapByteBuffer.init(Unknown Source)
at java.base/java.nio.ByteBuffer.allocate(Unknown Source)
at org.apache.kafka.common.memory.MemoryPool$1.tryAllocate(MemoryPool.java:30)
at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:113)
at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:452)
at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:402)
at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:674)
at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:576)
at org.apache.kafka.common.network.Selector.poll(Selector.java:481)
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:551)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:265)
at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.pollNoWakeup(ConsumerNetworkClient.java:306)
at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$HeartbeatThread.run(AbstractCoordinator.java:1374)
  • 根据报错信息，去网上搜索了一堆，基本确认了问题，是kafka服务内存溢出，程序访问时kafka给出了这个返回信息
  • 查看了下我们的kafka的JVM配置，只使用了默认的1G内存，一开始只有信号机实时数据上报，1G内存是完全够用的
  • 现在有信号机设备数据、雷达设备数据、特勤设备数据一起上报时，内存不够用了，需要增加内存

解决

  • 主要改了2个配置，socket.request.max.bytes与heap opts
  • Kafka的heap opts设置指的是JVM堆内存的配置。在Kafka启动时，可以使用参数配置。我是使用docker部署的，所以在docker-compose配置文件里设置
  • socket.request.max.bytes是指一个Kafka客户端发送给Kafka服务器的单个请求的最大字节数。如果客户端试图发送超过指定大小的请求，则服务器将拒绝该请求并返回一个错误响应
  • 根据不同的场景和需求，可以根据实际情况来调整这个参数的大小，以保证在高负载情况下，Kafka能够以最佳的性能响应大量的请求
  • 具体配置如下：
  # 消息服务kafka:image: confluentinc/cp-kafka:5.5.7container_name: kafkavolumes:- /etc/localtime:/etc/localtime- ./volumes/kafka-data:/var/lib/kafka/datadepends_on:- zookeeperenvironment:- KAFKA_BROKER_ID=1- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092- KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT- KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT- KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1- KAFKA_ADVERTISED_HOST_NAME=kafka- KAFKA_NUM_NETWORK_THREADS=32- KAFKA_NUM_IO_THREADS=16- KAFKA_log_retention_hours=1 # 保留1小时，超出1小时自动清理- KAFKA_log_retention_bytes=2147483648 # 保留2G，超出自动清理- KAFKA_log_segment_bytes=536870912   # 每个段 512M- KAFKA_socket_request_max_bytes=1073741824 # socket最大消息 1G- KAFKA_HEAP_OPTS=-Xms1g -Xmx5g # 最大内存 5Gnetworks:- signal-networkrestart: always

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/12764.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何做好IT类的技术面试

如何做好IT类的技术面试

目录 一、IT行业的招聘渠道 二、如何做好技术面试官 三、谈谈IT行业如何做好招聘工作 四、面试IT公司的小技巧 五、面试有哪些常见的问题 六、关于面试的一些建议 面试可能是我们每个人都必须会遇到的事情，而技术面试更具有专业性，以下会从几个方面…
阅读更多...
openGauss学习笔记-23 openGauss 简单数据管理-时间/日期函数和操作符

openGauss学习笔记-23 openGauss 简单数据管理-时间/日期函数和操作符

文章目录 openGauss学习笔记-23 openGauss 简单数据管理-时间/日期函数和操作符23.1 时间日期操作符23.2 时间/日期函数23.3 TIMESTAMPDIFF23.4 EXTRACT23.5 date_part openGauss学习笔记-23 openGauss 简单数据管理-时间/日期函数和操作符 23.1 时间日期操作符 用户在使用时…
阅读更多...
【Java 高频面试闯关秘籍】大梦谁先觉，平生我自知

【Java 高频面试闯关秘籍】大梦谁先觉，平生我自知

一、mysql使用innodb引擎，请简述mysql索引的最左前缀如何优化orderby语句？ 关键点： （1）如果排序字段不在索引列上，filesort有两种算法：mysql就要启动双路排序和单路排序 （2&#x…
阅读更多...
【系统监控程序】

【系统监控程序】

用python编写一个系统监控程序，需要每隔一秒钟记录系统每个进程的资源占用和整体的资源占用情况，并输出成json，保存到文本文件。 import psutil import json import timedef get_process_usage():process_list []for proc in psutil.proces…
阅读更多...
系统资源监控程序的改进

系统资源监控程序的改进

当需要监控硬盘读写和网络传输时，我们可以进一步使用psutil库来获取这些信息。以下是修改后的示例程序，增加了对硬盘读写和网络传输的监控： import psutil import json import timedef get_process_usage():process_list []for proc in psu…
阅读更多...
解决分类任务中数据倾斜问题

解决分类任务中数据倾斜问题

大家好，在处理文本分类任务时，基准测试流行的自然语言处理架构的性能是建立对可用选项的理解的重要步骤。在这里，本文将深入探讨与分类相关的最常见的挑战之一——数据倾斜。如果你曾经将机器学习（ML）应用于真实世界的…
阅读更多...
React Native RN state props

React Native RN state props

state： 是RN 专门用来标识是否重新渲染，通过属性的值来更新数据，React 内部会监听 state 的变化，一旦发生变化就会主动触发组件的 render() 方法来更新 Dom 结构，另外state是组件私有的，是没有办法通过其他…
阅读更多...
VS+QT+PCL点云显示转网格表面体窗体实现

VS+QT+PCL点云显示转网格表面体窗体实现

程序示例精选 VSQTPCL点云显示转网格表面体窗体实现 如需安装运行环境或远程调试&#xff0c;见文章底部个人QQ名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 这篇博客针对<<VSQTPCL点云显示转网格表面体窗体实现>>编写代码&#xff0c;代码整洁&…
阅读更多...
正则表达式常用字符及案例

正则表达式常用字符及案例

引言 正则表达式是一种强大而灵活的工具&#xff0c;它在文本搜索和处理中起到了至关重要的作用。熟练掌握正则表达式的常用字符和使用方法&#xff0c;将能帮助开发者更加高效地进行模式匹配和字符串操作。本文将介绍一些常见的正则表达式字符&#xff0c;并给出一些实际案例…
阅读更多...
watch避坑，使用computed进行处理数据

watch避坑，使用computed进行处理数据

业务场景&#xff1a;在vue中监听el-input 中的字数有没有超过60&#xff0c;如果超过60字时将60后面的字变为 “>>” 符号&#xff0c;以此实现预览苹果手机推送摘要场景。 错误&#xff1a;开始的逻辑是使用watch监听&#xff0c;检查length超过60直接 加上符号&#x…
阅读更多...
python 网络编程

python 网络编程

TCP编程 客户端 创建TCP连接时&#xff0c;主动发起连接的叫做客户端&#xff0c;被动响应的叫做服务端。当定义一个Socket表示打开一个网络连接&#xff0c;创建一个Socket需要知道目标计算机的IP地址和端口号和对应的协议类型。 # 导入socket库: import socket# 创建一个s…
阅读更多...
基于MSP432P401R爬坡小车【2020年电赛C题】

基于MSP432P401R爬坡小车【2020年电赛C题】

文章目录 一、任务清单1. 硬件部分2. 软件部分 二、OpenMV巡线三、舵机转向四、停止线识别五、技术交流 一、任务清单 1. 硬件部分 主控板&#xff1a; MSP432P401R数据显示&#xff1a; OLED电机&#xff1a; 霍尔编码器电机电池&#xff1a; 7.3V航模电池巡线&#xff1a; …
阅读更多...
图像中不规则物体的长轴与短轴：OpenCV实现指南

图像中不规则物体的长轴与短轴：OpenCV实现指南

1.首先&#xff0c;读取图像并将其转换为灰度图像。 2.进行图像预处理&#xff0c;包括使用高斯模糊和阈值化&#xff0c;以便更好地处理图像。 3.通过使用OpenCV的cv2.findContours()函数&#xff0c;找到图像中的所有轮廓。 4.遍历所有轮廓&#xff0c;如果轮廓点的数量大…
阅读更多...
使用ajax进行前后端交互的方法

使用ajax进行前后端交互的方法

使用ajax进行前后端交互的方法&#xff1a;&#xff08;我只测试通了json对象作为参数的方式&#xff0c;其他方式我没有测试通过&#xff09; 1、前端方法&#xff1a; 传参方式&#xff1a;POST 请求类型&#xff1a;json对象 响应类型&#xff1a;json对象 function test() …
阅读更多...
idea 里 controller service impl mapper xml 切换跳转快捷键

idea 里 controller service impl mapper xml 切换跳转快捷键

首先在controller层&#xff0c;对着接口点方法的方法上按着ctrl和鼠标左键&#xff0c;你会进入service层。 对着方法ctrlaltb不按鼠标&#xff0c;你会进入impl层。service层的方法上按ctrl和鼠标左键会回到controller&#xff0c;ctrlaltb不按鼠标也会进入到impl层,impl上的…
阅读更多...
[Linux]线程基本知识

[Linux]线程基本知识

概念 进程 一个正在执行的程序&#xff0c;它是资源分配的最小单位 进程中的事情需要按照一定的顺序逐个进行 进程出现了很多弊端: 一是由于进程是资源拥有者&#xff0c;创建、撤消与切换存在较大的时空开销&#xff0c;因此需要引入轻型进程&#xff1b; 二是由于对称多…
阅读更多...
localhost和127.0.0.1一样吗？

localhost和127.0.0.1一样吗？

学习笔记&#xff0c;如有错误&#xff0c;感谢指出&#xff01; 文章目录 1. 对比方式一1.1 表示方式&#xff1a;1.2 主机名解析&#xff1a;1.3 IPv6 支持&#xff1a;1.4 可读性和易用性&#xff1a;1.5 小总结 2. 对比方式二2.1 原理不同2.2 概念不同2.3 指向不同 1. 对比…
阅读更多...
C++：类和对象(下)---对类和对象深入一些的理解

C++：类和对象(下)---对类和对象深入一些的理解

文章目录 构造函数&#xff1f;初始化列表explicit关键字 匿名对象 构造函数&#xff1f; 初始化列表 前面已然介绍过构造函数&#xff0c;但并未完全结束&#xff0c;构造函数有很多种写法&#xff0c;有带缺省参数的&#xff0c;有全缺省的&#xff0c;不带缺省参数的…但用…
阅读更多...
未来的算法备案法规：创新和安全如何兼顾？

未来的算法备案法规：创新和安全如何兼顾？

随着科技的快速发展&#xff0c;算法正逐步渗透到我们生活的各个方面&#xff0c;从推荐引擎到自动驾驶&#xff0c;从医疗诊断到金融交易&#xff0c;这一现象既充满希望&#xff0c;也充满了挑战。其中一个关键的挑战就是如何设计和实施有效的算法备案法规&#xff0c;以促进…
阅读更多...
Linux下查找python路径

Linux下查找python路径

本地目前装了几个版本的python&#xff0c;这里记录下查找python路径的方法。 1&#xff1a;whereis命令 whereis python2&#xff1a;which命令 which python与whereis相似&#xff0c;但which会返回第一个找到的执行文件的位置。 3&#xff1a;find命令 find命令可以搜索系…
阅读更多...
最新文章

Copyright @ 2022~2023