RabbitMQ怎么保障消息的可靠性

RabbitMQ消息可靠性是系统中确保消息不丢失、无重复的重要手段。对于RabbitMQ的消息而言,我们主要从三部分讨论,分别是生产者,broker端,消费者这三大模块来进行讲解


一、生产者端的消息可靠性

1. 消息确认机制(Publisher Confirms)

在生产者端,RabbitMQ提供了消息确认机制(Publisher Confirms)。这个机制可以确保生产者的消息成功发送至Broker端的交换机,避免了生产者发布消息丢失的问题。RabbitMQ会在消息抵达交换机后,返回一个ACK确认,表示消息成功发送至交换机。工作原理如下:

  1. 生产者开启Confirm模式,使用channel.confirmSelect()方法。
  2. 生产者每次发送消息后都会等待RabbitMQ返回的ACK确认。
  3. 如果RabbitMQ返回NACK或超时未返回,则生产者可以重新发送消息,确保消息成功发送。

这种确认机制底层依赖RabbitMQ的内部队列,保持发送顺序,且在性能上优于传统的事务机制。

2. 事务机制

RabbitMQ提供了事务机制,使得生产者可以通过channel.txSelect()开启事务,发送消息后使用channel.txCommit()进行提交。如果提交失败,则会进行回滚。事务机制的可靠性高,但会显著降低系统的吞吐量,因此在实践中更多采用Publisher Confirms代替事务。

二、Broker端的消息可靠性

在消息代理Broker端,RabbitMQ从交换机的路由、消息持久化、队列备份等方面进行可靠性保证。

1. Mandatory参数确保消息路由

在发送消息时,RabbitMQ允许生产者设置mandatory参数为true。此时,如果交换机找不到符合条件的队列,无法将消息路由到任何队列,消息会返回给生产者。这种设计确保了消息不会被误丢弃,有助于消息的可靠性管理。

2. 消息持久化

为了保证消息在RabbitMQ重启后不丢失,可以将消息和队列都设置为持久化。具体方式如下:

  1. 持久化队列:在声明队列时设置durable属性为true
  2. 持久化消息:发送消息时设置deliveryMode=2(2代表持久化)。

在底层实现上,RabbitMQ使用Erlang内存管理和文件存储系统,将持久化消息写入磁盘,并根据磁盘I/O负载进行批量写入优化。持久化虽然会增加一点延迟,但确保了重启时消息依然存在。

3. 镜像队列(Mirrored Queues)

RabbitMQ提供了镜像队列,即HA(高可用)队列。通过将队列在不同的节点上复制,镜像队列可以在单个节点故障时保持消息的完整性和可用性。镜像队列的实现原理如下:

  1. RabbitMQ在集群的多个节点上复制队列及消息。
  2. 当主节点发生故障时,从镜像中选出一个新的主节点继续处理消息。
  3. 客户端在每次连接时会自动与新主节点重新建立连接,继续收发消息。

镜像队列的优势在于数据的高可用性,但会消耗额外的网络资源。

三、消费者端的消息可靠性

消费者在处理消息时,RabbitMQ支持手动ACK确认模式和重发机制。

1. 消费者ACK确认模式

消费者接收消息后,可以选择手动发送ACK确认,表明消息已被成功处理。手动确认的工作机制如下:

  1. 消息被消费后,RabbitMQ等待消费者的ACK确认。
  2. 如果消费者在确认前发生异常或断开连接,消息会被重新加入队列,确保其他消费者可以继续处理。
  3. 在ACK未完成时,RabbitMQ会在内存中保留该消息副本。

这种手动确认模式确保了消息不会因消费者故障而丢失,适用于较为关键的数据流转场景。

2. 死信队列(Dead Letter Queue,DLQ)

当消息由于反复处理失败或到达最大重试次数后,可以被转移到死信队列,供后续分析和处理。RabbitMQ允许配置死信交换机(DLX),在消息达到阈值后自动将其路由至DLQ。这种方式可以有效避免消息丢失。

四、消息传输过程的可靠性保障

在消息传输过程中,RabbitMQ的可靠性保障主要体现在网络传输协议和连接机制上。

1. AMQP协议和传输保障

RabbitMQ基于AMQP协议,提供了面向连接的传输,确保消息在传输中不丢失。AMQP协议包含了数据确认、握手机制,确保在网络传输过程中消息的完整性和可靠性。

2. TLS/SSL加密传输

为了防止数据在传输过程中被篡改或拦截,RabbitMQ支持通过TLS/SSL加密的方式保护消息传输的安全性。SSL加密不仅保障了消息数据安全性,还提供了高可靠性,避免由于网络攻击导致消息被修改或丢失。

3. 心跳机制与连接恢复

RabbitMQ在底层实现了心跳检测机制,以监控客户端连接的状态。在客户端连接断开时,可以通过重试机制恢复连接。尤其在网络不稳定的场景下,心跳机制确保了消费者与Broker的连接可靠性。


五、总结

RabbitMQ通过生产者确认机制、消息持久化、镜像队列、消费者手动确认、死信队列等多层机制,从生产者、Broker、消费者和传输过程四个角度入手,建立了消息可靠性保障体系。RabbitMQ在底层实现上充分考虑了I/O优化、协议可靠性、连接恢复等因素,确保了消息在高并发和网络波动环境下的高可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/58587.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

web自动化测试平台开发之核心执行器

web自动化测试平台开发之核心执行器 一、如何从自动化框架到核心执行器二、核心执行器框架逻辑梳理三、核心执行器利用命令驱动执行 一、如何从自动化框架到核心执行器 脚本:底层用了三个内容:pythonpytestselenium,线性脚本,只是单纯的把功能测试用例转…

Rust 力扣 - 2090. 半径为 k 的子数组平均值

文章目录 题目描述题解思路题解代码题解链接 题目描述 题解思路 半径为 k 的子数组平均值 等价于 子数组长度为2 * k 1的总和 除于 2 * k 1 我们遍历长度为2 * k 1的窗口,我们只需要记录窗口内的平均值即可 题解代码 impl Solution {pub fn get_averages(num…

直接内存、死锁、方法句柄

直接内存 1. 不是虚拟机运行时数据区的一部分,也不是《Java虚拟机规范》中定义的内存区域 2. 直接内存是在Java堆外、直接向系统申请的内存区间 3. 来源于NIO,通过存在堆中的DirectByteBuffer操作Native内存 4. 通常,访问直接内存的速度会优于Java堆&am…

芯片校正LDO电压

芯片校正LDO电压 一、校正LDO的作用二、LDO的校正参数三、参数校正示例 一、校正LDO的作用 在集成电路设计中,校正低压差线性稳压器(LDO)的主要作用是为内部电路提供稳定、干净的工作电压。这有助于抑制电源噪声,并在输入电压变化…

Java开发中如何配合MySQL实现读写分离?

引言 在现代应用程序中,数据库的性能和可扩展性是至关重要的。随着数据量的增加,单一的数据库实例可能无法满足高并发读写请求的需求。 为了提高系统的性能和可用性,读写分离成为了一种常见的解决方案。 本文将详细探讨如何在Java开发中实现MySQL的读写分离,包括其原理、…

Hive SQL 和 SQL 的区别总结(持续更新中.....)

一、区别 1 Join 时,on. 条件; SQL支持不等值连接,Hive SQL 只支持等值连接。 二、区别2 SQL支持From 前嵌套子查询,Hive SQL 不支持;

C++《list》

在本篇当中我们将学习STL中的list,在此list就是我们之前在数据结构学习过的链表,在本篇中我们要来了解list当中的成员函数该如何使用,由于list各个函数的接口和之前学习过的vector类型,因此在学习list的使用就较为轻松。在lis篇章…

axios源码分析之请求adapter

axios源码分析之请求adapter axios changeLog 注:axios从 v1.7.0-beta.0 支持了fetch v1.7.0-beta.0 changgeLog Featuresadapter: add fetch adapter; (#6371) (a3ff99b)Contributors to this releaseavatar Dmitriy Mozgovoyavatar Jayv1.7.0-beta.0 之前的版…

【牛客刷题实战】二叉树遍历

大家好,我是小卡皮巴拉 文章目录 目录 牛客题目: 二叉树遍历 题目描述 输入描述: 输出描述: 示例1 解题思路 问题理解 算法选择 具体思路 解题要点 完整代码(C语言) 兄弟们共勉 !&…

vmvare启动freebsd操作系统密码忘记了怎么办?

本章教程,主要介绍,通过vmvare安装的freebsd操作系统,密码忘记了,如何重置密码。 一、重启虚拟机 在重启过程中,按键盘中是数字2,进入单用户模式。 二、进入到shell界面 在出现“Enter full pathname of shell or RETURN for /bin/sh:”直接按回车键。 三、输入命令 mou…

【设计模式系列】代理模式(八)

一、什么是代理模式 代理模式(Proxy Pattern)是一种结构型设计模式,它为其他对象提供一种代理以控制对这个对象的访问。代理模式在不直接访问实际对象的情况下,提供了对目标对象的间接访问。通过引入一个代理对象来间接操作实际对…

WPS查询函数VLOOKUP,匹配寻找值自动带入值

想实现在下表输入物料名称后,把上表中的单位自动带入 那就要用到VLOOKUP函数,获取第2个表第1列的值后去第1个表的第1列匹配,匹配到后得到行数值,把第1个表的第2列赋值给第2个表的第2列。 Vlookup函数参数为Vlookup(查找值&#…

sqoop问题汇总记录

此篇博客仅记录在使用sqoop时遇到的各种问题。持续更新,有问题评论区一起探讨,写得有不足之处见谅。 Oracle_to_hive 1. main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTr…

简单说明vuex

vuex 知识结构配置调用 知识结构 vue用于管理公共数据的仓库 配置 state:所有公共数据的初始状态(初始值) export default {state: {count: 0,} };mutations:修改state内容的方法(必须为同步方法) export …

分类算法——决策树 详解

决策树的底层原理 决策树是一种常用的分类和回归算法,其基本原理是通过一系列的简单决策,将数据集划分为多个子集,从而实现分类。决策树的核心思想是通过树形结构表示决策过程,节点代表特征,边代表决策,叶子…

Nature Electronics 用于语音识别的液体声传感器,基于悬浮在载液的钕-铁-硼磁性纳米颗粒

近年来,工程师们开发了一系列越来越复杂的传感器,用于机器人、便携式、可穿戴甚至植入式监测。然后,可以使用最先进的机器学习来分析这些传感器收集的数据,使设备能够识别音频中的特定声音、图像中的对象或其他信息。加州大学洛杉…

NVR批量管理软件/平台EasyNVR多个NVR同时管理支持视频投放在电视墙上

在当今智能化、数字化的时代,视频监控已经成为各行各业不可或缺的一部分,无论是公共安全、交通管理、企业监控还是智慧城市建设,都离不开高效、稳定的视频监控系统的支持。而在这些应用场景中,将监控视频实时投放到大屏幕电视墙上…

【GeoJSON在线编辑平台】(0)项目启动与前言

前言 事情是这样的…… 有这么一个项目,需要开发一个在线的标注平台。以天地图为底图,在天地图上标注出一些特征地物,比如描出农田耕地房屋建筑之类的要素。 这个需求简化一下其实就是一个在线的矢量编辑平台,通过绘制多边形功能…

豆包,攻克数字是个什么工具?《GKData-挖掘数据的无限可能》(数据爬虫采集工具)

豆包,攻克数字是个什么工具? “攻克数字” 指的是 “攻克数字(GKData)” 这样一款工具。是一款针对网页、APP中数据自动解析转表存入数据库的软件,为数据工作者而生。它是一个不会编程也能用的可视化数据解析为标准二…

【Python】实战:使用input()获取一个字符串,编写并传参,将字符串中所有的小写字母转成大写字母,将大写字母转成小写字母

#使用input()获取一个字符串,编写并传参,将字符串中所有的小写字母转成大写字母,将大写字母转成小写字母 #使用input()获取一个字符串,编写并传参,将字符串中所有的小写字母转成大写字母,将大写字母转成小…