kafka或者rokectMq消费堆积,如何排查并解决?

kafka和rocketMq都是消息中间件,消息中间件的作用,异步,削峰,解耦

  • 异步化提升性能。通过引入消息中间件,可以在客户端和服务器之间实现异步通信,从而提高系统的处理能力和响应速度。1
  • 降低耦合度。消息中间件允许不同的应用程序组件通过发送和接收消息来进行通信,从而提高了系统的模块性和可维护性。12
  • 流量削峰。在面对高并发请求时,消息中间件可以帮助系统更好地应对瞬时流量高峰,防止系统因负载过重而崩溃。
  • 扩展性。消息中间件能够通过增加或修改处理过程来轻松地扩展系统的处理能力,而无需修改代码或调整参数。4
  • 冗余存储。通过消息的持久化功能,消息中间件可以在节点或服务器发生故障时保证数据不丢失。
  • 顺序保证在某些应用场景下,数据处理的顺序非常重要,而大部分消息中间件支持一定程度的顺序性。
  • 缓冲。消息中间件通过缓冲层帮助任务最高效率地执行,控制和优化数据流经过系统的速度。
  • 事件驱动架构。消息中间件支持事件驱动架构,提供异步处理机制,允许应用将消息放入队列中,并在需要时再处理。此外,消息中间件- - 还支持多种传递模式,如点对点模式和发布/订阅模式,并且可以通过多种协议进行通信。

可以看到kafka或者rokectMQ的时候,发送消息以后,会出现数据阻塞,消费很慢的情况。这种情况有以下处理的几种方式。

  1. 看消费组是否有多个订阅者在进行订阅,并进行消费。看消费者的数据,发送者的数量,能否把消费者的数量增加,已提高消费的速度。
  2. 在消费者中,可以使用线程池,启动多个线程,然后多线程去消费这些数据,这样可以提高消速度。
  3. 看代码中是否有操作数据库的地方,操作数据库的地方是增,删,改,查。是否有用到,具体的耗时又是多少。
    (1)、如果是查询,判断数据是否必须使用最新的实时数据,如果是,那么就要优化SQL,以保证能够达到要求。如果数据是配置的数据,不需要强实时,那么就可以使用缓存降低耗时,提高消费速度。
    (2)、新增的情况下,如果可以使用批量新增,尽量使用批量新增,这样可以提高消费的速度,不用每次消费都访问数据库进行新增。
    (3)、修改,删除,亦是如此。
  4. 看是否有外部的接口调用,比如一些http的请求,或者调用了其他的三方组件,es的写入,hbase的写入,redis的操作,等等。看看会不会有网络请求延迟的情况,导致了消费速度变慢,数据堆积。
  5. 检查代码中是否有用到很多的for循环,while循环,或者其他代码导致代码的性能下降,从而让整体的消费速度变慢。
  6. 对于线程池对于多线程进行消费kafka的数据,一台服务器是16核,每台服务器设置6个线程,一共12台服务器,那么线程一共是72个。这个时候如果还是依然的kafka消费速度起不来,依然堆积,要考虑是否有其他的原因,可以看看服务器的情况,可能是多线程消耗了CPU的性能,因为线程中有可能访问数据库,但是数据库很慢,那么线程都在启动执行中,直接把CPU打满了,所以这个时候就看数据库的SQL怎么优化了,是否可以加索引(覆盖索引,联合索引,等等)。让SQL的速度变快,线程启动很快就结束,CPU也就降下来了。消费速度提升上来。

如果对你有帮助,或是有一些启发的话,制作不易,还请点赞收藏!!!感谢感谢。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/736059.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

突破编程_C++_设计模式(装饰器模式)

1 装饰器模式的基本概念 在 C 中,装饰器模式(Decorator Pattern)是一种结构型设计模式,它允许动态地给一个对象添加一些额外的职责,就增加功能来说,装饰器模式相比生成子类更为灵活,它可以在不…

一 超级数据查看器 讲解稿 系统介绍

一 超级数据查看器 讲解稿 系统介绍 APP下载地址 百度手机助手 下载地址4 点此此处 以新页面方式 打开B站 教学视频 讲解稿 大家好,这里我给大家介绍一下超级数据查看器, 超级数据查看器。就是桌面这个蓝色的房子图形的APP。 超级数据查看器是一个提供数…

HTML 学习笔记 总结

总结 【标签按照功能进行分类】&#xff1a; <!DOCTYPE html>&#xff1a;声明为 HTML5 文档 <html>&#xff08;双标记、块标记&#xff09;&#xff1a;是 HTML 页面的根元素&#xff0c;定义 HTML 文档 <head>&#xff08;双标记、块标记&#xff09;&a…

算法-双指针、BFS与图论-1224. 交换瓶子

题目 思路 可以交换任意两个瓶子&#xff0c;最多n-1次&#xff1b;如果是只能交换相邻的瓶子&#xff0c;那么相当于逆序对的个数&#xff08;这篇博客是介绍如何计算逆序对的算法&#xff1a;算法篇&#xff1a;逆序对_逆序对算法-CSDN博客&#xff09;本题转换为图论去看:边…

【数据结构与算法】绪论

目录 一、数据结构研究 二、基本概念和术语 2.1 基本概念 2.2 什么是数据结构&#xff1f; 2.3 数据结构内容 2.4 逻辑结构种类 2.5 存储结构种类 2.6 数据类型和抽象数据类型 三、算法和算法分析 3.1 算法的定义 3.2 算法的特性 3.3 算法设计要求 3.4 算法好坏评…

JAVA虚拟机实战篇之GC调优[1](GC调优基知、方法、工具和常见GC模式)

文章目录 版权声明GC调优概念GC调优核心指标(KPI)吞吐量延迟&#xff08;Latency&#xff09;内存使用量 GC调优方法GC调优步骤GC调优工具jstat工具visualvm插件Prometheus Grafana GC日志分析GC日志保存GC日志分析工具GC ViewerGCeasy 常见的GC模式正常情况缓存对象过多情况内…

01_electron入门

由于毕业论文可能需要用 electron&#xff0c;所以 Linux 驱动学习慢了下来。 一、安装 node.js 进入 node.js 官网&#xff1a;Node.js (nodejs.org) 咱们就是用稳定版&#xff0c;安装包除了安装路径自己选择外&#xff0c;一直点 Next。 安装完成后需要配置环境&#xff0c…

如有Kata

养成跑步的习惯&#xff0c;就能习惯性跑步&#xff0c;一有空就见缝插针抽空跑步。这是一层韵律感、完成感、美感、成就感。而一次跑步的一连串动作&#xff0c;是另一层韵律感、完成感、美感、成就感。所以这里就有了两层的韵律感、完成感、美感、成就感。如是如水漂荡漾。健…

【机器学习】一文掌握逻辑回归全部核心点(下)。

逻辑回归核心点-下 1、引言2、逻辑回归核心点2.5 特征工程2.5.1 特征缩放2.5.2 多项式特征 2.6 多分类2.6.1 一对多&#xff08;One-vs-Rest&#xff0c;OvR&#xff09;策略2.6.2 一对一&#xff08;One-vs-One&#xff0c;OvO&#xff09;策略2.6.2 比较 2.7 评估指标2.7.1 准…

动手做一个最小RAG——TinyRAG

Datawhale干货 作者&#xff1a;宋志学&#xff0c;Datawhale成员 大家好&#xff0c;我是不要葱姜蒜。 接下来我会带领大家一步一步地实现一个简单的RAG模型&#xff0c;这个模型是基于RAG的一个简化版本&#xff0c;我们称之为Tiny-RAG。Tiny-RAG是一个基于RAG的简化版本&am…

SpringBoot源码

SpringBoot核心前置内容 1.Spring注解编程的发展过程 1.1 Spring 1.x 2004年3月24日&#xff0c;Spring1.0 正式发布&#xff0c;提供了IoC&#xff0c;AOP及XML配置的方式。 在Spring1.x版本中提供的是纯XML配置的方式&#xff0c;也就是在该版本中必须要提供xml的配置文件…

八、词嵌入语言模型(Word Embedding)

词嵌入&#xff08;Word Embedding, WE&#xff09;&#xff0c;任务是把不可计算、非结构化的词转换为可以计算、结构化的向量&#xff0c;从而便于进行数学处理。 一个更官方一点的定义是&#xff1a;词嵌入是是指把一个维数为所有词的数量的高维空间&#xff08;one-hot形式…

小迪安全36WEB 攻防-通用漏洞XSS 跨站MXSSUXSSFlashXSSPDFXSS

#XSS跨站系列内容:1. XSS跨站-原理&分类&手法 XSS跨站-探针&利用&审计XSS跨站另类攻击手法利用 XSS跨站-防御修复&绕过策略 #知识点&#xff1a; 1、XSS 跨站-原理&攻击&分类等 2、XSS 跨站-MXSS&UXSS&FlashXss&PDFXSS 等 1、原…

HCS-华为云Stack-计算节点内部网络结构

HCS-华为云Stack-计算节点内部网络结构 图中表示的仅为计算节点是两网口的模式&#xff0c;如果是四网口模式&#xff0c;系统会再自动创建一个网桥出来 图中未画出存储平面和Internal Base平面&#xff0c;它们和tunnel bearing、External OM-样&#xff0c;都是通过trunk0的…

信息系统项目管理师006:车联网(1信息化发展—1.2现代化基础设施—1.2.3车联网)

文章目录 1.2.3 车联网1.体系框架2.链接方式3.场景应用 记忆要点总结 1.2.3 车联网 车联网是新一代网络通信技术与汽车、电子、道路交通运输等领域深度融合的新兴产业形态。智能网联汽车是搭载先进的车载传感器、控制器、执行器等装置&#xff0c;并融合现代通信与网络技术&…

Linux常用命令之top监测

(/≧▽≦)/~┴┴ 嗨~我叫小奥 ✨✨✨ &#x1f440;&#x1f440;&#x1f440; 个人博客&#xff1a;小奥的博客 &#x1f44d;&#x1f44d;&#x1f44d;&#xff1a;个人CSDN ⭐️⭐️⭐️&#xff1a;传送门 &#x1f379; 本人24应届生一枚&#xff0c;技术和水平有限&am…

for、while、do While、for in、forEach、map、reduce、every、some、filter的使用

for、while、do While、for in、forEach、map、reduce、every、some、filter的使用 for let arr [2, 4, 6, 56, 7, 88];//for for (let i 0; i < arr.length; i) {console.log(i : arr[i]) //0:2 1:4 2:6 3:56 4:7 5:88 }普通的for循环可以用数组的索引来访问或者修改…

代码随想录day32 Java版

62.不同路径 public static int uniquePaths(int m, int n) {int[][] dp new int[m][n];//初始化for (int i 0; i < m; i) {dp[i][0] 1;}for (int i 0; i < n; i) {dp[0][i] 1;}for (int i 1; i < m; i) {for (int j 1; j < n; j) {dp[i][j] dp[i-1][j]dp…

Java享元模式源码剖析及使用场景

享元模式 一、介绍二、基本原理三、企业资源管理系统中使用案例三、Java 中的字符串常量池使用了享元模式四、总结优缺点以及使用经验 一、介绍 享元模式是一种结构型设计模式&#xff0c;旨在最大程度地减少内存使用或计算开销。这种模式通过共享对多个类似对象实例所需的状态…

04 数据结构之队列

循环队列 /* squence_queue.h */ #ifndef _SQUENCE_QUEUE_H_ #define _SQUENCE_QUEUE_H_#include <stdio.h> #include <string.h> #include <stdlib.h>#define QUEUE_SIZE 128 #define DEBUG(msg) \printf("--%s--, %s", __func__, msg)typedef i…