kafka处理大量消息积压tips —— 筑梦之路

一、consumer导致kafka积压了大量消息

场景:
1. 如果是Kafka消费能力不足,则可以考虑增加 topic 的 partition 的个数,
同时提升消费者组的消费者数量,消费数 = 分区数 (二者缺一不可)

2. 若是下游数据处理不及时,则提高每批次拉取的数量。批次拉取数量过少
(拉取数据/处理时间 < 生产速度),使处理的数据小于生产的数据,也会造成数据积压。

方法:

1. 增大partion数量,
2. 消费者加了并发,服务, 扩大消费线程
3. 增加消费组服务数量
4. kafka单机升级成了集群
5. 避免消费者消费消息时间过长,导致超时
6. 使Kafka分区之间的数据均匀分布

二、消息过期失效

产生消息堆积,消费不及时,kafka数据有过期时间,一些数据就丢失了,主要是消费不及时

经验

1. 消费kafka消息时,应该尽量减少每次消费时间,可通过减少调用三方接口、读库等操作,
从而减少消息堆积的可能性。
2. 如果消息来不及消费,可以先存在数据库中,然后逐条消费
(还可以保存消费记录,方便定位问题)
3. 每次接受kafka消息时,先打印出日志,包括消息产生的时间戳。
4. kafka消息保留时间(修改kafka配置文件, 默认一周)
5. 任务启动从上次提交offset处开始消费处理

三、综上使用kafka注意事项

1. 由于Kafka消息key设置,在Kafka producer处,给key加随机后缀,使其均衡
2. 数据量很大,合理的增加Kafka分区数是关键。
Kafka分区数是Kafka并行度调优的最小单元,如果Kafka分区数设置的太少,
会影响Kafka consumer消费的吞吐量. 如果利用的是Spark流和Kafka direct approach方式,
也可以对KafkaRDD进行repartition重分区,增加并行度处理.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/602101.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cookie和session的区别

cookie和session主要有以下区别&#xff1a; 1. 存放的位置&#xff1a; cookie: 浏览器端 session: 服务器端 2. 安全性&#xff1a; cookie是以明文的方式存放在客户端的&#xff0c;安全性相对较低 session存放于服务器中&#xff0c;所以安全性相对较好 3. 网络传输量…

LeetCode 28 找出字符串中第一个匹配项的下标

题目描述 找出字符串中第一个匹配项的下标 给你两个字符串 haystack 和 needle &#xff0c;请你在 haystack 字符串中找出 needle 字符串的第一个匹配项的下标&#xff08;下标从 0 开始&#xff09;。如果 needle 不是 haystack 的一部分&#xff0c;则返回 -1 。 示例 1&…

LLM Agent之数据分析领域的应用

数据分析&#xff1a;Data-Copilot paper: Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow github: https://github.com/zwq2018/Data-Copilot 先介绍下浙大提出的已扩展的数据分析框架&#xff0c;支持多种金融数据类型的查询&#xff0c;数…

Vue3-40-路由- 动态路由

说明 本文主要介绍了 对路由的动态配置&#xff0c;主要包括以下几个部分&#xff1a;1、判断某个路由是否存在&#xff1b;2、查看路由对象中的所有路由配置&#xff1b;3、添加一个路由&#xff1b;4、删除一个路由。针对上述四个方面&#xff0c;vue-router 中提供了对应的…

论文笔记 Understanding Electricity-Theft Behavior via Multi-Source Data

WWW 2020 oral 1 INTRO 1.1 背景 1.1.1 窃电 窃电&#xff08;electricity theft&#xff09;指用户为了逃避电费而进行非法操作的一种行为 常用的反窃电方法可分为两类&#xff1a; 基于硬件驱动的反窃电方法 ​​​​​​​电表开盖检测、集中器检测。。。。 硬件驱动的…

MySQL之视图案例

目录 一.视图1.1 含义1.2 操作 二.案例三.思维导图 一.视图 1.1 含义 虚拟表&#xff0c;和普通表一样使用 1.2 操作 1.创建视图 create view 视图名 as 查询语句&#xff1b; 2.视图的修改 方式一&#xff1a; create or replace view 视图名 as 查询语句 方式二&#x…

图像分割-Grabcut法(C#)

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请在显著位置标明本文出处以及作者网名&#xff0c;未经作者允许不得用于商业目的。 本文的VB版本请访问&#xff1a;图像分割-Grabcut法-CSDN博客 GrabCut是一种基于图像分割的技术&#xff0c;它可以用于将图像中的…

Linux第15步_安装FTP客户端

安装完FTP服务器后&#xff0c;还需要安装FTP客户端&#xff0c;才可以实现Ubuntu系统和Windows系统进行文件互传。 1、在STM32MP157开发板A盘基础资料\03软件中&#xff0c;找到“FileZilla_3.51.0_win64-setup.exe”&#xff0c;双击它&#xff0c;就可以安装。 2、点击“I …

第5章-第8节-Java面向对象中的内部类

1、内部类&#xff1a;属于类的成员之一&#xff0c;类的内部又定义类&#xff0c;外层的class称为外部类&#xff0c;内部的class称为内部类。 设计了某个类&#xff0c;根据需求发现其内部又需要定义一个独立的内部结构&#xff0c;此时就考虑将其定义为内部类&#xff0c;内…

docker 相关常用命令---持续更新

注意&#xff0c;如果命令从文档复制过来在执行总是失败&#xff0c;然后又确定自己的命令没有错&#xff0c;那就自己手工敲命令&#xff0c;有的命令内容复制就是不行&#xff0c;手工敲就没问题了。 #查看容器站点运行日志 --tail500 查看500行&#xff0c; 后面的是容器…

uView Skeleton 骨架屏

骨架屏一般用于页面在请求远程数据尚未完成时&#xff0c;页面用灰色块预显示本来的页面结构&#xff0c;给用户更好的体验。 说明 由于VUE和NVUE的特性不同&#xff0c;组件动画在VUE上为由左到右形式&#xff0c;在NVUE上为明暗显隐的形式。 #平台差异说明 App&#xff0…

Fontfabric:一款字体与设计的完美结合

一、产品介绍 Fontfabric是一款由国际字体设计公司Fontfabric开发的字体设计软件。它提供了一整套完整的字体设计工具&#xff0c;让用户可以轻松地创建、设计和定制自己的字体。Fontfabric拥有丰富的字体库&#xff0c;包括各种风格和类型&#xff0c;能够满足用户在不同场景…

2023年山东省职业院校技能大赛高职组“软件测试”赛项-接口测试报告答案(含术语)

任务五 接口测试 目录 接口测试任务要求 接口测试报告 目的 术语定义 <

安全加密基础—基本概念、keytool、openssl

安全加密基础—基本概念、keytool、openssl 目录 前言 一、概念 明文通信 无密钥密文通信 对称加密 非对称加密 数字签名 消息摘要(MD5) CA数字证书(解决公钥分发的问题) HTTPS 相关文件扩展名 常用后缀名 普通的pem文件内容 二、keytool 2.1常用的命令如下 2…

用mysql进行简单的分析查询

在MySQL中进行简单的分析查询通常涉及使用一些聚合函数和条件筛选来获取有关数据集的汇总信息。以下是一些常见的分析查询示例&#xff1a; 计算平均值&#xff1a; SELECT AVG(column_name) AS average_value FROM table_name;计算总和&#xff1a; SELECT SUM(column_name) A…

docker 完成MySQL的主从复制

文章目录 搭建步骤 搭建步骤 拉取镜像 docker pull mysql:5.7运行主从 docker run -p 3307:3306 --name mysql-master -v /mydata/mysql-master/log:/var/log/mysql -v /mydata/mysql-master/data:/var/lib/mysql -v /mydata/mysql-master/conf:/etc/mysql -e MYSQL_ROOT_P…

外包干了1个月,技术退步一大半。。。

先说一下自己的情况&#xff0c;本科生&#xff0c;19年通过校招进入广州某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试…

Word2Vector介绍

Word2Vector 2013 word2vec也叫word embeddings&#xff0c;中文名“词向量”&#xff0c;google开源的一款用于词向量计算的工具&#xff0c;作用就是将自然语言中的字词转为计算机可以理解的稠密向量。在word2vec出现之前&#xff0c;自然语言处理经常把字词转为离散的单独的…

c语言版:数据结构(时间复杂度,空间复杂度,练习)

时间复杂度 概念 时间复杂度是用来衡量算法执行时间的一个指标。它表示随着输入规模的增加&#xff0c;算法执行时间的增长率。时间复杂度通常用大O符号表示。 在计算时间复杂度时&#xff0c;通常会忽略常数项、低阶项和系数项&#xff0c;只关注随着输入规模增长而导致的主要…

量化简介和模式

1.量化简介 量化主要是一种加速推理的技术&#xff0c;量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术&#xff0c;与浮点实现相比&#xff0c;通常是 int8。这可以在几个重要领 (1).域实现性能提升&#xff1a; (2).模型尺寸缩小 4 倍&#…