kafka常见问题处理

1. 如何防⽌消息丢失

在生产者层面,我们有个ack参数确认机制

设置成-1,也就是副本全部同步了leader才发送ack,这样确保leader和副本挂掉只剩一个还能

保证消息不丢失

消费者:

把⾃动提交改成⼿动提交

2. 如何防⽌重复消费

在防⽌消息丢失的⽅案中,如果⽣产者发送完消息后,因为⽹络抖动,没有收到ack,但实际上broker已经收到了。此时⽣产者会进⾏重试,于是broker就会收到多条相同的消息,⽽造成消费者的重复消费。

怎么解决:

⽣产者关闭重试:会造成丢消息(不建议)
消费者解决⾮幂等性消费问题:
所谓的幂等性:多次访问的结果是⼀样的。对于rest的请求(get(幂等)、post(⾮幂
等)、put(幂等)、delete(幂等))
解决⽅案:
1.在数据库中创建联合主键,防⽌相同的主键 创建出多条记录

假设我们有一个电商平台,其中有一个订单系统,需要处理用户的订单。在这个业务场景下,我们可以使用联合主键来避免重复消费。

假设订单系统中的订单数据存储在数据库表中,表结构包含以下字段:订单ID、用户ID、商品ID、订单状态等。

订单系统通过消息队列将订单数据发送给其他系统进行处理,比如库存系统和物流系统。当订单系统发送一个订单消息给库存系统时,可能由于网络抖动或其他原因导致消息发送失败,此时订单系统会进行重试。

然而,由于某些原因(如网络延迟、重试机制设计等),重试过程中可能会导致重复发送相同的订单消息到库存系统。如果没有相应的方式来防止重复消费,库存系统可能会处理同一订单多次,导致库存错误或其他问题。

为了解决这个问题,我们可以在订单数据表中创建一个联合主键,由订单ID、用户ID和商品ID组成。这样,当订单系统接收到一个新订单时,首先检查数据库中是否已存在具有相同联合主键的记录。

如果存在重复记录,订单系统可以判断该订单消息已经被处理过,并选择跳过重复消息的处理。如果不存在重复记录,则将该订单数据插入数据库,并发送消息给库存系统进行处理。

通过使用联合主键,我们可以确保在订单系统中防止重复消费的问题。即使在订单系统进行重试时,库存系统只会处理首次收到的订单消息,避免了重复消费产生的问题

2.使⽤分布式锁,以业务id为锁。保证只有⼀条记录能够创建成功

假设我们有一个在线活动报名系统,用户可以通过该系统报名参加各种活动。在这个业务场景中,我们可以使用分布式锁来保证同一个用户只能成功报名一次活动。

假设活动报名系统中的报名记录存储在数据库表中,表结构包含以下字段:报名ID、用户ID、活动ID、报名状态等。

当用户尝试报名一个活动时,系统需要进行以下操作:

  1. 检查该用户是否已经报名了该活动。
  2. 如果用户已经报名了该活动,则返回相应的提示,阻止用户重复报名。
  3. 如果用户未报名该活动,则将报名信息插入数据库,并完成报名流程。

在这个场景下,我们可以使用分布式锁来保证同一个用户只能成功报名一次活动。以用户ID作为锁的key,当用户尝试报名活动时,先尝试获取该用户的锁。

如果获取到了锁,表示该用户尚未报名该活动,可以继续执行报名操作,并将用户ID作为锁的值存储在分布式锁中。

如果未能获取到锁,表示该用户已经报名了该活动,可以给用户返回相应的提示,阻止用户重复报名。

3. 如何做到消息的顺序消费

  • ⽣产者:保证消息按顺序消费,且消息不丢失——使⽤同步的发送,ack设置成⾮0的值。
  • 消费者:主题只能设置⼀个分区,消费组中只能有⼀个消费者

kafka的顺序消费使⽤场景不多,因为牺牲掉了性能,但是⽐如rocketmq在这⼀块有专⻔的功能已设计好。

 

4. 如何解决消息积压问题


4.1 消息积压问题的出现


消息的消费者的消费速度远赶不上⽣产者的⽣产消息的速度,导致kafka中有⼤量的数据没有被消费。随着没有被消费的数据堆积越多,消费者寻址的性能会越来越差,最后导致整个kafka对外提供的服务的性能很差,从⽽造成其他服务也访问速度变慢,造成服务雪崩。

4.2 消息积压的解决⽅案


在这个消费者中,使⽤多线程,充分利⽤机器的性能进⾏消费消息。
通过业务的架构设计,提升业务层⾯消费的性能。
创建多个消费组,多个消费者,部署到其他机器上,⼀起消费,提⾼消费者的消费速度
创建⼀个消费者,该消费者在kafka另建⼀个主题,配上多个分区,多个分区再配上多个
消费者。该消费者将poll下来的消息,不进⾏消费,直接转发到新建的主题上。此时,新
的主题的多个分区的多个消费者就开始⼀起消费了。——不常⽤

5. 实现延时队列的效果

5.1 应用场景

订单创建后,超过30分钟没有⽀付,则需要取消订单,这种场景可以通过延时队列来实现

5.2 具体方案

 kafka中创建创建相应的主题
消费者消费该主题的消息(轮询)
消费者消费消息时判断消息的创建时间和当前时间是否超过30分钟(前提是订单没⽀付)
如果是:去数据库中修改订单状态为已取消。
如果否:记录当前消息的offset,并不再继续消费之后的消息。等待1分钟后,再次向kafka拉取该offset及之后的消息,继续进⾏判断,以此反复。
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/217252.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Orange Comet利用Sui Kiosk进行游戏道具和知识产权保护

Orange Comet与AMC合作开发基于《行尸走肉》系列的NFT和游戏,首要关注的问题就是保护AMC的知识产权。利用Sui的Kiosk原语不仅让Orange Comet向AMC保证其资产安全,而且为即将推出的《行尸走肉大陆》游戏打开了无限的可能性。 Kiosk是Sui上的一个原语&…

记录一次chatGPT人机协同实战辅助科研——根据词库自动进行情感分析

有一个Excel中的一列,读取文本判断文本包含积极情感词.txt和消极情感词.txt的个数,分别生成两列统计数据 请将 ‘your_file.xlsx’ 替换为你的Excel文件名,Your Text Column’替换为包含文本的列名。 这个程序首先读取了积极和消极情感词&…

mac 环境下 goframe安装GF开发工具 gf-cli(安装包方式安装)

mac 环境下 goframe安装GF开发工具 gf-cli(安装包方式安装) 安装包网址 链接: link 终端输入命令进行安装 ./gf_darwin_amd64 但是产生如下报错,无法安装 使用一下命令给安装权限 chmod 0777 gf_darwin_amd64 && ./gf_darwin_a…

SAP ABAP excel文件模板上传下载

一:事物码smw0 二:上传步骤 程序源码: l_filename XX.xls.l_muban z123. *&---下载模板PERFORM frm_get_fullpath CHANGING gv_fullpath gv_path gv_name. *&---路径为空则退出IF gv_fullpath IS INITIAL.MESSAGE 用户取消操作 T…

鸿蒙开发 - ohpm安装第三方库

前端开发难免使用第三方库,鸿蒙亦是如此,在使用 DevEco Studio 开发工具时,如何引入第三方库呢?操作步骤如下,假设你使用的是MacOS,假设你已经创建了了一个项目: 一、配置 HTTP Proxy 在打开了…

实时云渲染技术下的虚拟汽车展厅 为什么越来越受青睐?

虚拟汽车展厅正成为各大车企展示和推广汽车的热门选择。这一趋势背后,反映了汽车行业对数字化转型和消费者需求变化的灵敏应对。 虚拟汽车展厅通常需要大量的3D建模和渲染技术来展示汽车的逼真效果。而点量实时云渲染技术可以通过云端计算来实现实时渲染&#xff0…

​hashlib --- 安全哈希与消息摘要​

源码: Lib/hashlib.py 本模块针对许多不同的安全哈希和消息摘要算法实现了一个通用接口。 包括了 FIPS 安全哈希算法 SHA1, SHA224, SHA256, SHA384, SHA512, (定义见 the FIPS 180-4 standard), SHA-3 系列 (定义见 the FIPS 202 standard) 以及 RSA 的 MD5 算法 (…

如何通过上下滑动实现亮度和音量调节(ArkUI)

场景说明 在音视频应用中通常可以通过上下滑动来调节屏幕亮度和音量大小,本例即为大家介绍如何实现上述UI效果。 说明: 由于当前亮度和音量调节功能仅对系统应用开发,所以本例仅讲解UI效果的实现。 效果呈现 本例效果如下: 当在…

昇腾910安装驱动出错,降低Centos7.6的内核版本

零、问题描述: 在安装Atlas800-9000服务器的驱动的时候,可能会出现错误:Dkms install failed, details in : /var/log/ascend_seclog/ascend_install.log 如下所示: [rootlocalhost ~]# ./Ascend-hdk-910-npu-driver_23.0.rc3_l…

Git远程操作

目录 1.远程操作 1.1理解分布式版本控制系统 1.2远程仓库. 1.2.1新建远程仓库 1.2.2克隆远程仓库 1.2.3向远程仓库推送 1.2.4拉取远程仓库 1.3配置Git 1.3.1忽略特殊文件 1.3.2给命令配置别名 2.标签管理 2.1理解标签 2.2创建标签 2.3操作标签 1.远程操作 1.1理…

HTTP深度解析:构建高效与安全网络的关键知识

1. HTTP基础及其组件 我首先想和大家分享的是HTTP的基础知识。HTTP,即超文本传输协议,是互联网上最常用的协议之一。它定义了浏览器和服务器之间数据交换的规则,使得网页内容可以从服务器传输到我们的浏览器上。想象一下,每当你点…

19-数据结构-查找-散列查找

目录 一、散列查找结构思路图 二、哈希函数 三、解决冲突 1.开放地址法 1.1.线性探测法(线性探测再散列法) 1.2.平方探测法(二次探测再散列) 1.3.再散列法(双散列法) 2.拉链法 2.1简介 四、散列查…

如何在nacos中的配置在不同的环境服务下可实现配置共享

其实在微服务启动时,会去nacos读取多个配置文件,例如: [spring.application.name].yaml,例如:nacos-order-service.yaml[spring.application.name]-[spring.profiles.active].yaml,例如:nacos-o…

区块链技术的未来,了解去中心化应用的新视角

小编介绍:10年专注商业模式设计及软件开发,擅长企业生态商业模式,商业零售会员增长裂变模式策划、商业闭环模式设计及方案落地;扶持10余个电商平台做到营收过千万,数百个平台达到百万会员,欢迎咨询。 随着…

12月12日作业

设计一个闹钟 头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTimerEvent> #include <QTime> #include <QTime> #include <QTextToSpeech>QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACEclass …

Linux实用操作(超级实用)

Linux实用操作篇-上篇&#xff1a;Linux实用操作-上篇-CSDN博客 Linux实用操作篇-下篇&#xff1a;Linux实用操作篇-下篇-CSDN博客 一、各类小技巧&#xff08;快捷键&#xff09; 1.1 ctrl c 强制停止 Linux某些程序的运行&#xff0c;如果想要强制停止它&#xff0c;可以…

配置android sudio出现的错误

导入demo工程&#xff0c;配置过程参考&#xff1a; AndroidStudio导入项目的正确方式&#xff0c;修改gradle配置 错误&#xff1a;Namespace not specified. Specify a namespace in the module’s build file. 并定位在下图位置&#xff1a; 原因&#xff1a;Android 大括号…

使用docker编排容器

使用Dockerfile构建一个自定义的nginx 首先用docker拉一个nginx镜像 docker pull nginx拉取完成后&#xff0c;编辑一个Dockerfile文件 vim Dockerfile命令如下所示,FROM 后面跟的你的基础镜像&#xff0c;而run则是表示你构建镜像时需要执行的指令&#xff0c;下面的指令意…

day16_java多线程(入门了解)

多线程入门 一、线程和进程 进程 进程&#xff1a;是指一个内存中运行的应用程序&#xff0c;每个进程都有一个独立的内存空间和系统资源&#xff0c;一个应用程序可以同时运行多个进程&#xff1b;进程也是程序的一次执行过程&#xff0c;是系统运行程序的基本单位&#xff1…

Argon-Theme 轻盈、简洁、美观的 WordPress 主题-供大家学习研究参考

特性 轻盈美观 - 使用 Argon Design System 前端框架,细节精致,轻盈美观高度可定制化 - 可自定义主题色、布局(双栏/单栏/三栏)、顶栏、侧栏、Banner、背景图、日夜间模式不同背景、背景沉浸、浮动操作按钮等,提供了丰富的自定义选项夜间模式 - 支持日间、夜间、纯黑三种模式…