如何保证消息不被重复消费~~~~~(如何保证消息队列的幂等性)

分析:这个问题其实换一种问法就是,如何保证消息队列的幂等性?这个问题可以认为是消息队列领域的基本问题。换句话来说,是在考察你的设计能力,这个问题的回答可以根据具体的业务场景来答,没有固定的答案。

 

 

回答:先来说一下为什么会造成重复消费?
其实无论是哪种消息队列,造成重复消费原因其实都是类似的。正常情况下,消费者在消费消息的时候,消费完毕后,会发送一个确认消息给消息队列,消息队列就知道该消息被消费了,就会将该消息从消息队列中删除。只是不同的消息队列发出的确认消息形式不同,例如RabbitMQ是发送一个ACK确认消息,RocketMQ是返回一个CONSUME_SUCCESS成功标志,kafka实际上有个offet的概念,简单说一下,就是每一个消息都有一个offset,kafka消费过消息后,需要提交offset,让消息队列知道自己已经消费过了。

那造成重复消费的原因?,就是因为网络传输等等故障,确认信息没有传送到消息队列,导致消息队列不知道自己已经消费过该消息了,再次将消息分发给其他的消费者。

其实重复消费不可怕,可怕的是你没考虑到重复消费之后,怎么保证幂等性。  

假设你有个系统,消费一条往数据库里插入一条,要是你一个消息重复两次,你不就插入了两条,这数据不就错了?但是你要是消费到第二次的时候,自己判断一下已经消费过了,直接扔了,不就保留了一条数据?   一条数据重复出现两次,数据库里就只有一条数据,这就保证了系统的幂等性   幂等性,我通俗点说,就一个数据,或者一个请求,给你重复来多次,你得确保对应的数据是不会改变的,不能出错。

如何解决?这个问题针对业务场景来答,分以下三种情况:

(1)比如,你拿到这个消息做数据库的insert操作,那就容易了,给这个消息做一个唯一的主键,那么就算出现重复消费的情况,就会导致主键冲突,避免数据库出现脏数据。

(2)再比如,你拿到这个消息做redis的set的操作,那就容易了,不用解决,因为你无论set几次结果都是一样的,set操作本来就算幂等操作。

(3)如果上面两种情况还不行,上大招。准备一个第三方介质,来做消费记录。以redis为例,给消息分配一个全局id,只要消费过该消息,将<id,message>以K-V形式写入redis.那消费者开始消费前,先去redis中查询有没有消费记录即可,先根据这个id去比如redis里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个id写redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/271902.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot:搭建第一个Web程序

本文简单介绍一下spingBoot搭建web程序的流程&#xff0c;希望对入门学习spingBoot的朋友有所帮助。本文采用的开发工具是IDEA。 1、打开IDEA&#xff0c;创建项目。 2、点击创建项目&#xff0c;进入下一步&#xff0c;具体按照画红框的操作。 3、点击下一步 4、点击下一步&am…

java method 注释_Java注解

Java注解注解概述3、注解3.1、注解&#xff0c;或者叫做注释类型&#xff0c;英文单词是&#xff1a;Annotation疑问&#xff1a;注解到底是干啥的&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;&#xff1f;3.2、注解Ann…

盘点八个程序员必备的代码编辑器

一个好的代码编辑器不仅能使代码变得更美观&#xff0c;增强其可读性&#xff0c;同时也能迅速推进程序员的工作进程&#xff0c;延长代码的生命周期。 对于新手和有经验的程序员&#xff0c;推荐使用的代码编辑器也均有不同。小楼总结了一些好用的代码编辑器&#xff0c;还在纠…

C#OOP之二 变量和表达式

2.1 C#的基本语法 C#代码的外观和操作方式与C和Java非常相似。初看起来&#xff0c;其语法比较混乱&#xff0c; 不像书面英语和其他语言。但是&#xff0c;在C#编程中&#xff0c;使用的样式是比较清晰的&#xff0c;不用花太多的力气就可以编写出可读性很强的代码。 与其他语…

C#调用API弹出打印机属性对话框

调用api弹出打印机属性对话框 Author:vitoriatangFrom:Internet.NET Framework封装了很多关于打印的对话框&#xff0c;比如说PrintDialog, PageSetupDialog. 但是有的时候我们还需要关心打印机属性对话框&#xff0c;那么就可以调用API来解决这个问题。有几个API函数与之相关P…

SQLServer数据库获取重复记录中日期最新的记录

❤️作者主页&#xff1a;IT技术分享社区 ❤️作者简介&#xff1a;大家好,我是IT技术分享社区的博主&#xff0c;从事C#、Java开发九年&#xff0c;对数据库、C#、Java、前端、运维、电脑技巧等经验丰富。 ❤️个人荣誉&#xff1a; 数据库领域优质创作者&#x1f3c6;&#x…

循环的时候去删除集合中的元素 java.util.ConcurrentModificationException

使用for循环&#xff0c;删除集合中的元素&#xff0c;会报错 java.util.ConcurrentModificationException 只能通过迭代器 iterator删除 1&#xff1a;在while循环中使用iterator迭代器删除集合中元素 2:在for循环中使用iterator迭代器删除集合中元素 3&#xff1a;使用for循…

计算机网络硬件设备组成笔记

网络是计算机或类似计算机的网络设备的集合&#xff0c;它们之间通过各种传输介质进行连接。无论设备之间如何连接&#xff0c;网络都是将来自于其中一台网络设备上的数据&#xff0c;通过传输介质传输到另外一台网络设备上。 本节将基于这个过程讲解网络的组成。 网卡 网卡也被…

java记事本复制粘贴_Java Swing 如何实现记事本中“编辑”菜单下的 剪切,复制,粘贴,删除,全选 功能...

这篇文字将要学习以下知识点&#xff1a;1.如何给JButton按钮添加鼠标点击事件监听器#1.addMouseListener(MouseListener l) 给JButton添加一个鼠标点击监听器l2.文本区控件JTextArea 中的方法(剪切&#xff0c;复制&#xff0c;粘贴&#xff0c;删除&#xff0c;全选 功能的…

迭代器(Iterator)遍历的两种方法(for和while)

一般遍历list的时候&#xff0c;我们习惯下面的写法,但这种写法有缺陷&#xff0c;不能及时释放iterator的内存 while循环遍历 Test public void testIteratorWhile(){ArrayList<String> lists new ArrayList<>();lists.add("A");lists.add("B&…

硬件:断路器、接触器、继电器基础知识

在电力系统中&#xff0c;断路器、接触器、继电器似乎都是耳熟能详的家伙&#xff0c;但很多一知半解的&#xff0c;却也搞不清这些东西究竟有什么不同&#xff0c;又有什么联系&#xff0c;今天我们就一起讲一讲。 首先说相同的吧&#xff01; 当然&#xff0c;无可非议的&…

Collection和Collections区别

1.Collection: 是集合类的上层接口。本身是一个Interface&#xff0c;里面包含了一些集合的基本操作。 Collection接口是Set接口和List接口的父接口 Collection接口的方法 2.Collections Collections是一个集合框架的帮助类&#xff0c;里面包含一些对集合的排序&#xff0c;…

程序员效率:整理常用的在线笔记软件

❤️作者主页&#xff1a;IT技术分享社区 ❤️作者简介&#xff1a;大家好,我是IT技术分享社区的博主&#xff0c;从事C#、Java开发九年&#xff0c;对数据库、C#、Java、前端、运维、电脑技巧等经验丰富。 ❤️个人荣誉&#xff1a; 数据库领域优质创作者&#x1f3c6;&#x…

怎么确保一个集合不能被修改?

我们很容易想到用final关键字进行修饰&#xff0c;我们都知道final关键字可以修饰类&#xff0c;方法&#xff0c;成员变量&#xff0c;final修饰的类不能被继承&#xff0c;final修饰的方法不能被重写&#xff0c;final修饰的成员变量必须初始化值&#xff0c;如果这个成员变量…

程序员如何与人打交道

作为程序员&#xff0c;人际关系也是必备的技能之一&#xff0c;本篇文章给大家介绍一下作为程序员处理人际关系需要注意的因素。1、每个人都希望自己被重视当你和他人沟通交流的时候&#xff0c;每个人都希望自己被重视&#xff0c;因为每个人都有自己的想法和观点&#xff0c…

BZOJ_1798__Codevs_2216_[AHOI_2009]_行星序列_(线段树)

描述 BZOJ: http://www.lydsy.com/JudgeOnline/problem.php?id1798 Codevs: http://codevs.cn/problem/2216/ 给出n和行星的质量,进行m次操作: 1.将[l,r]区间内所有行星质量*c. 2.将[l,r]区间内所有行星质量c. 3.询问[l,r]区间内行星质量和. 分析 双标记线段树,多加一个乘法的…

Java中三种Set的实现类的用法和区别

Java为开发者提供了大量的工具类&#xff0c;这给开发人员带来了很大方便&#xff0c;但是选择多了也有困扰&#xff0c;究竟用哪个类&#xff1b;我想选择什么&#xff0c;一是看自己具体需求&#xff0c;二是类本身的性能和用法&#xff1b;Java中提供了HashSet、TreeSet、Li…

程序员的职业选择:打工者、独立开发者、创业者

当你励志成为一名程序员的时候&#xff0c;你是否有对自己的职业生涯进行规划&#xff0c;作为一名开发人员你的理想是什么&#xff0c;希望成为一名什么样的开发者&#xff0c;这些都是不可逃避的问题&#xff0c;本篇文章给大家简单介绍一下程序员的职业选择&#xff1a;打工…