高效协作处理缓存清理需求:生产者-消费者模式助力多模块缓存管理

在现代应用系统中,缓存是提高性能和减少数据库负载的重要手段之一。然而,缓存的数据在某些情况下可能会过期或者变得无效,因此需要及时进行清理。在复杂的应用系统中,可能有多个系统、多个模块产生缓存清理需求,而这些系统、模块之间的清理任务需要高效的协作,以避免数据竞争和资源浪费的问题。

本文将介绍一种高效处理多模块缓存清理需求的方案,通过使用Redis消息队列,采用生产者-消费者模式,实现了多个系统、多个模块的消息生产和消费任务的合理协作。在这个方案中,多个系统、多个模块可以同时生产清理缓存的消息,消费者定期获取并合并这些消息后,通过多线程进行缓存清理,从而达到高效处理的目的。

生产者-消费者模式

生产者-消费者模式是一种经典的多线程设计模式,用于解决多个生产者和消费者之间的协作问题。生产者负责生成数据,并将其放入共享缓冲区,而消费者则负责从缓冲区中取出数据并进行处理。这种模式的目标是确保生产者和消费者之间的有效沟通和数据交换,从而避免竞态条件和数据不一致问题。

方案介绍

-2023-06-29-2157.png

Redis是一种高性能的内存数据库,同时也是一个强大的消息中间件。Redis支持多种数据结构,包括List(列表)和Queue(队列),这些数据结构可以用于实现消息队列的功能。

在Redis中,多个系统、多个模块可以将清理缓存的消息作为生产者生产,并将这些消息添加到一个特定的Queue中。而缓存清理服务则定期从这个Queue中获取消息,进行合并后再多个消费者进行缓存清理操作。这种模式称为生产者-消费者模式,它实现了生产者和消费者的解耦,使得多个系统、多个模块之间可以独立进行消息的生产,由缓存清理服务统一多线程进行消息的消费,从而提高系统的灵活性和可维护性,使得业务系统于消息缓存系统之间不存在耦合关系。

第一步: 初始化Redis连接和消息队列

首先,需要在应用程序中初始化Redis连接,以便于生产者和消费者能够连接到Redis数据库。同时,创建一个消息队列,用于存储多个系统、多个模块产生的清理缓存的消息。

第二步: 系统或模块生产消息

每个模块可以根据自己的清理缓存需求,产生对应的清理缓存消息,并将消息添加到Redis的消息队列中。

MsgProduct

import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import java.util.Map;
import java.util.Set;@Service
@Slf4j
public class MsgProduct {private static final String KEY= "xj_test_queue";@Resourceprivate RedissonCache redissonCache;public boolean msgAdd(Map<String, Set<String>> params){//生产消息return redissonCache.cacheAdd(KEY,params);}
}

第三步: 消费者定期获取并合并消息,多线程缓存清理

消费者定期从Redis消息队列中获取缓存清理消息。获取到的消息可以按照namespace进行分类合并,以便后续多线程消费时能够分别处理不同模块的缓存清理任务。

MsgConsumer

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.ObjectUtils;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import java.util.*;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;@Service
@Slf4j
public class MsgConsumer {private static final String KEY= "xj_test_queue";@Resourceprivate RedissonCache redissonCache;public void poll(){Map<String, Set<String>> params = new LinkedHashMap<>();Map<String, Set<String>> msgMap = redissonCache.cachePoll(KEY);int batchSize = 500;String namespace;Set<String> msgSet;Set<String> mergedSet;while (batchSize > 0 && !ObjectUtils.isEmpty(msgMap)) {// 合并消息for (Map.Entry<String, Set<String>> entry : msgMap.entrySet()) {namespace = entry.getKey();msgSet = entry.getValue();mergedSet = params.getOrDefault(namespace, new HashSet<>());mergedSet.addAll(msgSet);params.put(namespace, mergedSet);}batchSize--;msgMap = redissonCache.cachePoll(KEY);}// 创建线程池ThreadPoolExecutor executor = new ThreadPoolExecutor(10,15,60L,TimeUnit.MILLISECONDS,new ArrayBlockingQueue<>(10));for (Map.Entry<String, Set<String>> entry : params.entrySet()) {executor.execute(()-> this.doFlush(entry.getKey(),entry.getValue()) );}}public void doFlush(String namespace,Set<String> provinces){try {//执行缓存清理逻辑log.info("清理缓存的接口编码为:{},省份编码为:{}",namespace,provinces);}catch (Exception e){//缓存清理失败处理逻辑log.error("清理缓存失败",e);}}}

优势与收益

采用基于Redis消息队列的生产者-消费者模式,我们成功解决了多个模块缓存清理的高效协作问题。这种模式的优势在于:

  1. 提高性能与并发处理能力: 多线程并发消费消息,加速缓存清理任务的执行,提高系统的整体性能。

  2. 灵活扩展: 不同模块可以独立生产和消费消息,系统的可扩展性大大增强。

  3. 数据一致性: 通过合理的消息合并策略,保证缓存清理任务的数据一致性。

  4. 资源节约: 避免资源浪费和重复清理,提高系统的资源利用率。

结语

在复杂的应用系统中,多个系统、多个模块可能会同时产生缓存清理需求。基于Redis消息队列的生产者-消费者模式为这种场景提供了一种高效协作处理方案。通过生产者生产消息、消费者定期获取合并消息并进行多线程消费,系统可以高效处理缓存清理任务,保证数据的一致性和并发安全性。这种设计模式在当今大数据和高并发的背景下尤其重要,对于提升系统性能和稳定性具有积极意义。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/12695.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

建造者模式——复杂对象的组装与创建

1、简介 1.1、概述 建造者模式又称为生成器模式&#xff0c;它是一种较为复杂、使用频率也相对较低的创建型模式。建造者模式向客户端返回的不是一个简单的产品&#xff0c;而是一个由多个部件组成的复杂产品。 建造者模式是较为复杂的创建型模式&#xff0c;它将客户端与包…

三个常用查询:根据用户名 / token查询用户信息+链表分页条件查询

目录 1.根据用户名或者token查询用户信息 会员信息实体类 统一状态Result类 controller层 service层及实现类 dao层 测试&#xff1a; 2.链表分页条件查询 会员等级实体类 封装条件类PageVo controller层 service层及实现类 dao层 Mapper.xml层 测试 vue前端参考 1.根据用户名…

【MySQL】表的内外连接

目录 一、内连接二、外连接2.1 左外连接2.2 右外连接 三、OJ题 表的连接分为内连和外连 一、内连接 内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选&#xff0c;我们前面学习的查询都是内连接&#xff0c;也是在开发过程中使用的最多的连接查询。 语法&#x…

汉明距离,两个整数之间的 汉明距离 指的是这两个数字对应二进制位不同的位置的数目。

题记&#xff1a; 两个整数之间的 汉明距离 指的是这两个数字对应二进制位不同的位置的数目。 给你两个整数 x 和 y&#xff0c;计算并返回它们之间的汉明距离。 示例 1&#xff1a; 输入&#xff1a;x 1, y 4 输出&#xff1a;2 解释&#xff1a; 1 (0 0 0 1) 4 (0 1 0 0…

现在运动耳机什么牌子的好用、最好的运动耳机推荐

对于注重身体健康的小伙伴来说&#xff0c;每周必然都少不了有规律的运动&#xff0c;而运动的时候耳边没有音乐的陪伴总是稍显枯燥无味&#xff0c;很难让人提起干劲来。有些小伙伴觉得运动的时候戴着耳机&#xff0c;稍微跳动几下耳机就开始松动&#xff0c;随时都要分心提防…

QT 作业 day4 7/28

1.思维导图 2.手动完成服务器实现 .h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> //服务器 #include <QTcpSocket> //连接客户端套接字 #include <QMessageBox> #include <QList> //套接字容器 #include &l…

无涯教程-jQuery - show( )方法函数

show()方法仅显示匹配元素中的每个元素(如果隐藏)。此方法还有另一种形式&#xff0c;可以控制动画的速度。 show( ) - 语法 selector.show( ); show( ) - 示例 以下是一个简单的示例&#xff0c;简单说明了此方法的用法- <html><head><title>The jQuer…

Java-数组的定义和使用

一、数组的基本概念 1.1 为什么要使用数组 假设现在要存5个学生的javaSE考试成绩&#xff0c;并对其进行输出&#xff0c;则可有 public static void main(String[] args){ int score1 70; int score2 80; int score3 85; int score4 60; …

List的各种排序

目录 Collections.sort对list进行排序 对象中某个属性进行排序 通过比较器进行比较 JAVA8特性Stream流进行排序 Stream升降序组合使用 Collections.sort对list进行排序 public static void main(String[] args) {List<Integer> list new ArrayList<>();list…

【Nodejs】操作mongodb数据库

1.简介 Mongoose是一个让我们可以通过Node来操作MongoDB的模块。Mongoose是一个对象文档模型(ODM)库,它对Node原生的MongoDB模块进行了进一步的优化封装&#xff0c;并提供了更多的功能。在大多数情况下&#xff0c;它被用来把结构化的模式应用到一个MongoDB集合&#xff0c;并…

数据结构:链表的一些经典的OJ题目

文章目录 写在前面链表OJ调试技巧移除链表元素反转链表链表的中间节点链表中倒数第K个节点链表分割问题 写在前面 本篇为本人学习链表的过程中遇到的典型OJ题&#xff0c;于是整理出来分享思路和便于后续重新学习&#xff0c;每个标题均可跳转至对应习题&#xff0c;大多为Lee…

宝塔面板Django项目部署(无数据库版)

近日在学习使用宝塔面板部署Django开发的web项目&#xff0c;走了不少弯路花了3天的时间才完成下面的文字&#xff0c;希望这篇文字能给正在摸索中的人带去点帮助。 一、安装宝塔面板 打开宝塔面板的官方网站(https://www.bt.cn/new/index.html).点击" " 会看到: 当…

内核链表在用户程序中的移植和使用

基础知识 struct list_head {struct list_head *next, *prev; }; 初始化&#xff1a; #define LIST_HEAD_INIT(name) { (name)->next (name); (name)->prev (name);} 相比于下面这样初始化&#xff0c;前面初始化的好处是&#xff0c;处理链表的时候&#xff0c;不…

Jenkins构建完成后发送消息至钉钉

钉钉群的最终效果&#xff1a; 1、jenkins安装DingTalk插件&#xff0c;安装完成后重启 2、配置钉钉插件 参考官网文档&#xff1a;快速开始 | 钉钉机器人插件 系统管理 拉到最下面&#xff0c;可以看到钉钉配置 按照如下配置钉钉机器人 配置完成可以点击测试按钮&#xff0…

Tensorflow报错protobuf requires Python ‘>=3.7‘ but the running Python is 3.6.8

报错信息 仔细观察下方命令后&#xff0c;可得运行:python -m pip install --upgrade pip即可 完成后再次执行性安装命令 成功&#xff01;&#xff01;&#xff01;

监控和可观察性在 DevOps 中的作用!

在不断发展的DevOps世界中&#xff0c;深入了解系统行为、诊断问题和提高整体性能的能力是首要任务之一。监控和可观察性是促进这一过程的两个关键概念&#xff0c;为系统的健康状况和性能提供有价值的可见性。虽然这些术语经常互换使用&#xff0c;但它们代表了理解和管理复杂…

c++网络编程

网络编程模型 c/s 模型&#xff1a;客户端服务器模型b/s 模型&#xff1a;浏览器服务器模型1.tcp网络流程 服务器流程&#xff1a; 1.创建套接字2.完善服务器网络信息结构体3.绑定服务器网络信息结构体4.让服务器处于监听状态5.accept阻塞等待客户端连接信号6.收发数据7.关闭套…

Appium+python自动化(二十八)- 高级滑动(超详解)

高级溜冰的滑动 滑动操作一般是两点之间的滑动&#xff0c;这种滑动在这里称其为低级的溜冰滑动&#xff1b;就是上一节给小伙伴们分享的。然而实际使用过程中用户可能要进行一些多点连续滑动操作。如九宫格滑动操作&#xff0c;连续拖动图片移动等场景。那么这种高级绚丽的溜…

【node.js】04-模块化

目录 一、什么是模块化 二、node.js中的模块化 1. node.js中模块的分类 2. 加载模块 3. node.js 中的模块作用域 4. 向外共享模块作用域中的成员 4.1 module对象 4.2 module.exports 对象 4.3 exports对象 5. node.js 中的模块化规范 一、什么是模块化 模块化是指解…

使用python库uvicorn替代Nginx发布Vue3项目

目录 一、Vue3项目打包 二、将打包文件放到python项目 三、配置uvicorn服务 四、启动服务 【SpringBoot版传送门&#xff1a;使用SpringBoot替代Nginx发布Vue3项目_苍穹之跃的博客-CSDN博客】 一、Vue3项目打包 &#xff08;博主vue版本&#xff1a;3.2.44&#xff09; 由…