【Redis】解决List类型的消息可靠性问题

前言

平时做后端开发时,如果需要用到消息队列功能,但公司的IT环境又没有提供专业的队列软件(RabitMQ/Kafka…),那么在简单场景下,可以使用 Redis 的List数据类型来做消息队列。

List类型有一个挺致命的缺点,就是消息可靠性。当消费者使用 RPOP 命令从队列中取出一条消息后,如果消费者在消费完成前崩溃了,那么这条消息就永远丢失找不回来了。

注:为了方便理解,下文统一以“左进右出”的 List 作为例子

解决方案

下面介绍两种解决方案,其中推荐方案2

方案1:RPOPLPUSH

使用 RPOPLPUSH 命令从 List 里取出一条消息的同时,又将这条消息写入另一个List,例如:

RPOPLPUSH myqueue myqueue:backup

myqueue里取出一条消息,同时写入到 myqueue:backup备份。

消息有了备份之后,如果消费者程序中途崩溃了,那么重启后,只要首先检查备份队列有没有消息,有的话优先消费备份队列的消息,消费完后再消费主队列的消息就可以了。

但这样的设计只能防止一次程序崩溃,如果在消费备份队列时,消费者又崩溃了呢?岂不是消息又丢失了?难道又用同样的方法建一个myqueue:backup:2队列吗?显然这样的方法很不优雅。

注:RPOPLPUSH 命令自从 Redis 6.2.0 版本开始已经被标记为“过时”,新的替代命令是 LMOVE

方案2:LRANGE + LTRIM

方案2是使用 LRANGELTRIM 命令,LRANGE 命令可以一次性获取 N 条消息,相比 RPOP命令一条条的取效率上要更高。等消息全部消费完毕后,再使用 LTRIM 命令删除消息。这样在调用LTRIM命令前,这批消息会一直都存在于队列中,即使消费者崩溃也不会丢失。

示例 - 从队列右边取出100条数据,然后删除:

LRANGE myqueue -100 -1
LTRIM myqueue 0 -101

myqueue是key名字,后面两个数字是范围 start 和 stop,0代表第一个元素,-1代表最后一个元素,-100代表倒数第100个元素,如此类推。

需要注意的一点是,使用LRANGE获取的一批消息,顺序是跟消费顺序相反的,在消费前应先反转顺序。例如 ["one", "two", "three", "four"] 四个元素,使用
LRANGE myqueue -2 -1获取到的结果是 ["three", "four"],但正确的消费顺序应该是 four -> three

Stream数据类型

如果你使用的是 Redis 5.0 以上版本,那么应该优先考虑使用 Stream 数据类型来做消息队列,Stream相比List在功能上要强大得多,提供了“消费者组”、“ACK确认”等消息队列场景专业功能,有兴趣可以自行网上搜索学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/790025.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode 96. 不同的二叉搜索树

给你一个整数 n ,求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种?返回满足题意的二叉搜索树的种数。 示例 1: 输入:n 3 输出:5示例 2: 输入:n 1 输出:1提…

34-1 SSRF漏洞 - SSRF服务端请求伪造

一、SSRF漏洞定义: SSRF(Server-side Request Forge)服务器端请求伪造是一种安全漏洞,由于服务端提供了从其他服务器应用获取数据的功能,但没有对地址和协议等进行充分的过滤和限制。攻击者可以利用存在漏洞的Web应用作为代理,从而攻击远程和本地的服务器。由于它是由服务…

有大批量的数据导入到数据库,规则是数据库有相应主键的就update没有就insert怎么做效率快

理此类具有条件的 “upsert”(更新或插入)操作时,您想要最小化对数据库的访问次数并使用高效的SQL逻辑。以下是几个数据库平台通常使用的方法: MySQL: 在 MySQL 中,可以使用 INSERT ... ON DUPLICATE KEY UPDATE 语句…

代码随想录算法训练营第二十二天| 235.二叉搜索树的最近公共祖先、701.二叉搜索树中的插入操作、450.删除二叉搜索树中的节点

系列文章目录 目录 系列文章目录235. 二叉搜索树的最近公共祖先①递归法自己写的简洁版 ②迭代法不能这样写!正确写法 701.二叉搜索树中的插入操作①递归法②迭代法 450.删除二叉搜索树中的节点递归法 235. 二叉搜索树的最近公共祖先 ①递归法 自己写的 class So…

书生·浦语大模型InternLM-Chat-1.8B 智能对话 Demo 第二期

文章目录 InternLM-Chat-1.8B 智能对话 Demo环境准备下载模型运行 InternLM-Chat-1.8B web 运行八戒 demo下载模型执行Demo InternLM-Chat-1.8B 智能对话 Demo 环境准备 在InternStudio平台中选择 10% A100(1/4) 的配置(平台资源有限),如下图…

【c语言】自定义类型:联合体(公用体)【详解】

联合体 联合体类型的声明 像结构体⼀样,联合体也是由⼀个或者多个成员构成,这些成员可以不同的类型。但是编译器只为最⼤的成员分配⾜够的内存空间。联合体的特点是所有成员共⽤同⼀块内存空间。所以联合体也叫:共用体。 给联合体其中⼀个成…

Lua 通过元方法简单实现属性Get/Set访问

通过元方法__index、__newindex、rawset,我们可以实现属性的Get/Set访问,类似于C#: public string name; public string Name {get > name;set > name value; }方法一:将属性数据存在元表中 local meta { name "m…

一点点金融 3

一点点金融 3 经验总结如何调整心态 长期交易系统设计逻辑:解决万倍股拿不住,归零股死扛的问题止损点设计:避免爆仓的三部曲(重仓、逆势、死扛)择时点设计:你要赚的不是蝇头小利,而是一整个大波…

2024阿里云域名优惠口令免费领取,COM、CN和xin域名口令

2024年阿里云域名优惠口令,com域名续费优惠口令“com批量注册更享优惠”,cn域名续费优惠口令“cn注册多个价格更优”,cn域名注册优惠口令“互联网上的中国标识”,阿里云优惠口令是域名专属的优惠码,可用于域名注册、续…

【QT入门】 自定义标题栏界面qss美化+按钮功能实现

往期回顾: 【QT入门】 鼠标按下和移动事件实现无边框窗口拖动-CSDN博客【QT入门】 设计实现无边框窗口拉伸的公用类-CSDN博客【QT入门】对无边框窗口自定义标题栏并实现拖动和拉伸效果-CSDN博客 【QT入门】 自定义标题栏界面qss美化按钮功能实现 一、最终效果 二、…

初识人工智能---------自然语言处理词袋模型

1.自然语言处理(NLP) 自然语言处理(Natural Language Processing,简称NLP)研究的是如何通过机器学习等技术,让计算机学会处理自然(人类)语言,以完成有意义的任务。 下面…

数据库调优----分库分表

目录 分库分表 分表 分库 分库分表缺点 分库分表 先考虑读写分离,读写分离不行的话再分库分表 读写分离:将数据库的写操作和读操作进行分离, 使用多个从库副本(Slaver)负责读,使用主库(Maste…

【JAVASE】学习类与对象的创建和实例化

✅作者简介:大家好,我是橘橙黄又青,一个想要与大家共同进步的男人😉😉 🍎个人主页:再无B~U~G-CSDN博客 目标: 1. 掌握类的定义方式以及对象的实例化 2. …

MVCC的实现原理

简介 MVCC(Multi-Version Concurrency Control)即多版本并发控制。 MVCC的实现原理 我们在了解MVCC之前,首先先了解一下几个比较常见的锁。 **读锁:**也叫共享锁、S锁,若事务T对数据对象A加上S锁,则事务…

一维卷积神经网络的特征可视化

随着以深度学习为代表的人工智能技术的不断发展,许多具有重要意义的深度学习模型和算法被开发出来,应用于计算机视觉、自然语言处理、语音处理、生物医疗、金融应用等众多行业领域。深度学习先进的数据挖掘、训练和分析能力来源于深度神经网络的海量模型…

使用OpenCV4.9的随机生成器和文本

返回:OpenCV系列文章目录(持续更新中......) 上一篇:OpenCV 4.9基本绘图 下一篇:OpenCV系列文章目录(持续更新中......) 目标 在本教程中,您将学习如何: 使用随机数生…

软件架构风格_2.调用/返回体系结构风格

调用/返回风格是指在系统中采用了调用与返回机制。利用调用-返回实际上是一种分而治之的策略,其主要思想是将一个复杂的大系统分解为若干子系统,以便降低复杂度,并且增加可修改性。程序从其执行起点开始执行该构件的代码,程序执行…

分发饼干(力扣455)

文章目录 题目贪心算法思想概述关键要素解题步骤优缺点优点缺点 应用领域 题解一、思路二、解题方法三、Code 总结 题目 Problem: 455. 分发饼干 假设你是一位很棒的家长,想要给你的孩子们一些小饼干。但是,每个孩子最多只能给一块饼干。对每个孩子 i&am…

2024 ccfcsp认证打卡 2023 05 01 重复局面

2023 05 01 重复局面 题目题解1题解2区别:数据存储方式:时间复杂度:空间复杂度: 总结: 题目 题解1 import java.util.*;public class Main {public static void main(String[] args) {Scanner input new Scanner(Sys…

Stream 流和 Lambda 组装复杂父子树形结构

在最近的开发中,遇到了两个类似的需求:都是基于 Stream 的父子树形结构操作,返回 List 集合对象给前端。于是在经过需求分析和探索实践后有了新的认识,现在拿出来和大家作分享交流。 一般来说完成这样的需求大多数人会想到递归&a…