高效协作处理缓存清理需求:生产者-消费者模式助力多模块缓存管理

在现代应用系统中,缓存是提高性能和减少数据库负载的重要手段之一。然而,缓存的数据在某些情况下可能会过期或者变得无效,因此需要及时进行清理。在复杂的应用系统中,可能有多个系统、多个模块产生缓存清理需求,而这些系统、模块之间的清理任务需要高效的协作,以避免数据竞争和资源浪费的问题。

本文将介绍一种高效处理多模块缓存清理需求的方案,通过使用Redis消息队列,采用生产者-消费者模式,实现了多个系统、多个模块的消息生产和消费任务的合理协作。在这个方案中,多个系统、多个模块可以同时生产清理缓存的消息,消费者定期获取并合并这些消息后,通过多线程进行缓存清理,从而达到高效处理的目的。

生产者-消费者模式

生产者-消费者模式是一种经典的多线程设计模式,用于解决多个生产者和消费者之间的协作问题。生产者负责生成数据,并将其放入共享缓冲区,而消费者则负责从缓冲区中取出数据并进行处理。这种模式的目标是确保生产者和消费者之间的有效沟通和数据交换,从而避免竞态条件和数据不一致问题。

方案介绍

-2023-06-29-2157.png

Redis是一种高性能的内存数据库,同时也是一个强大的消息中间件。Redis支持多种数据结构,包括List(列表)和Queue(队列),这些数据结构可以用于实现消息队列的功能。

在Redis中,多个系统、多个模块可以将清理缓存的消息作为生产者生产,并将这些消息添加到一个特定的Queue中。而缓存清理服务则定期从这个Queue中获取消息,进行合并后再多个消费者进行缓存清理操作。这种模式称为生产者-消费者模式,它实现了生产者和消费者的解耦,使得多个系统、多个模块之间可以独立进行消息的生产,由缓存清理服务统一多线程进行消息的消费,从而提高系统的灵活性和可维护性,使得业务系统于消息缓存系统之间不存在耦合关系。

第一步: 初始化Redis连接和消息队列

首先,需要在应用程序中初始化Redis连接,以便于生产者和消费者能够连接到Redis数据库。同时,创建一个消息队列,用于存储多个系统、多个模块产生的清理缓存的消息。

第二步: 系统或模块生产消息

每个模块可以根据自己的清理缓存需求,产生对应的清理缓存消息,并将消息添加到Redis的消息队列中。

MsgProduct

import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import java.util.Map;
import java.util.Set;@Service
@Slf4j
public class MsgProduct {private static final String KEY= "xj_test_queue";@Resourceprivate RedissonCache redissonCache;public boolean msgAdd(Map<String, Set<String>> params){//生产消息return redissonCache.cacheAdd(KEY,params);}
}

第三步: 消费者定期获取并合并消息,多线程缓存清理

消费者定期从Redis消息队列中获取缓存清理消息。获取到的消息可以按照namespace进行分类合并,以便后续多线程消费时能够分别处理不同模块的缓存清理任务。

MsgConsumer

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.ObjectUtils;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import java.util.*;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;@Service
@Slf4j
public class MsgConsumer {private static final String KEY= "xj_test_queue";@Resourceprivate RedissonCache redissonCache;public void poll(){Map<String, Set<String>> params = new LinkedHashMap<>();Map<String, Set<String>> msgMap = redissonCache.cachePoll(KEY);int batchSize = 500;String namespace;Set<String> msgSet;Set<String> mergedSet;while (batchSize > 0 && !ObjectUtils.isEmpty(msgMap)) {// 合并消息for (Map.Entry<String, Set<String>> entry : msgMap.entrySet()) {namespace = entry.getKey();msgSet = entry.getValue();mergedSet = params.getOrDefault(namespace, new HashSet<>());mergedSet.addAll(msgSet);params.put(namespace, mergedSet);}batchSize--;msgMap = redissonCache.cachePoll(KEY);}// 创建线程池ThreadPoolExecutor executor = new ThreadPoolExecutor(10,15,60L,TimeUnit.MILLISECONDS,new ArrayBlockingQueue<>(10));for (Map.Entry<String, Set<String>> entry : params.entrySet()) {executor.execute(()-> this.doFlush(entry.getKey(),entry.getValue()) );}}public void doFlush(String namespace,Set<String> provinces){try {//执行缓存清理逻辑log.info("清理缓存的接口编码为:{},省份编码为:{}",namespace,provinces);}catch (Exception e){//缓存清理失败处理逻辑log.error("清理缓存失败",e);}}}

优势与收益

采用基于Redis消息队列的生产者-消费者模式,我们成功解决了多个模块缓存清理的高效协作问题。这种模式的优势在于:

  1. 提高性能与并发处理能力: 多线程并发消费消息,加速缓存清理任务的执行,提高系统的整体性能。

  2. 灵活扩展: 不同模块可以独立生产和消费消息,系统的可扩展性大大增强。

  3. 数据一致性: 通过合理的消息合并策略,保证缓存清理任务的数据一致性。

  4. 资源节约: 避免资源浪费和重复清理,提高系统的资源利用率。

结语

在复杂的应用系统中,多个系统、多个模块可能会同时产生缓存清理需求。基于Redis消息队列的生产者-消费者模式为这种场景提供了一种高效协作处理方案。通过生产者生产消息、消费者定期获取合并消息并进行多线程消费,系统可以高效处理缓存清理任务,保证数据的一致性和并发安全性。这种设计模式在当今大数据和高并发的背景下尤其重要,对于提升系统性能和稳定性具有积极意义。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/12695.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

建造者模式——复杂对象的组装与创建

1、简介 1.1、概述 建造者模式又称为生成器模式&#xff0c;它是一种较为复杂、使用频率也相对较低的创建型模式。建造者模式向客户端返回的不是一个简单的产品&#xff0c;而是一个由多个部件组成的复杂产品。 建造者模式是较为复杂的创建型模式&#xff0c;它将客户端与包…

三个常用查询:根据用户名 / token查询用户信息+链表分页条件查询

目录 1.根据用户名或者token查询用户信息 会员信息实体类 统一状态Result类 controller层 service层及实现类 dao层 测试&#xff1a; 2.链表分页条件查询 会员等级实体类 封装条件类PageVo controller层 service层及实现类 dao层 Mapper.xml层 测试 vue前端参考 1.根据用户名…

【MySQL】表的内外连接

目录 一、内连接二、外连接2.1 左外连接2.2 右外连接 三、OJ题 表的连接分为内连和外连 一、内连接 内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选&#xff0c;我们前面学习的查询都是内连接&#xff0c;也是在开发过程中使用的最多的连接查询。 语法&#x…

汉明距离,两个整数之间的 汉明距离 指的是这两个数字对应二进制位不同的位置的数目。

题记&#xff1a; 两个整数之间的 汉明距离 指的是这两个数字对应二进制位不同的位置的数目。 给你两个整数 x 和 y&#xff0c;计算并返回它们之间的汉明距离。 示例 1&#xff1a; 输入&#xff1a;x 1, y 4 输出&#xff1a;2 解释&#xff1a; 1 (0 0 0 1) 4 (0 1 0 0…

现在运动耳机什么牌子的好用、最好的运动耳机推荐

对于注重身体健康的小伙伴来说&#xff0c;每周必然都少不了有规律的运动&#xff0c;而运动的时候耳边没有音乐的陪伴总是稍显枯燥无味&#xff0c;很难让人提起干劲来。有些小伙伴觉得运动的时候戴着耳机&#xff0c;稍微跳动几下耳机就开始松动&#xff0c;随时都要分心提防…

QT 作业 day4 7/28

1.思维导图 2.手动完成服务器实现 .h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> //服务器 #include <QTcpSocket> //连接客户端套接字 #include <QMessageBox> #include <QList> //套接字容器 #include &l…

无涯教程-jQuery - show( )方法函数

show()方法仅显示匹配元素中的每个元素(如果隐藏)。此方法还有另一种形式&#xff0c;可以控制动画的速度。 show( ) - 语法 selector.show( ); show( ) - 示例 以下是一个简单的示例&#xff0c;简单说明了此方法的用法- <html><head><title>The jQuer…

php 原型模式

一&#xff0c;原型模式&#xff0c;就是先创建好一个原型对象&#xff0c;然后通过拷贝原型对象来生成新的对象。适用于大对象的创建&#xff0c;因为每次new一个大对象会有很大的开销&#xff0c;原型模式仅需内存拷贝即可。 原型模式中的主要角色&#xff1a; 1&#xff0c;…

Java-数组的定义和使用

一、数组的基本概念 1.1 为什么要使用数组 假设现在要存5个学生的javaSE考试成绩&#xff0c;并对其进行输出&#xff0c;则可有 public static void main(String[] args){ int score1 70; int score2 80; int score3 85; int score4 60; …

List的各种排序

目录 Collections.sort对list进行排序 对象中某个属性进行排序 通过比较器进行比较 JAVA8特性Stream流进行排序 Stream升降序组合使用 Collections.sort对list进行排序 public static void main(String[] args) {List<Integer> list new ArrayList<>();list…

将 MongoDB 的 List<Document> 转换为对象列表

当我们使用 MongoDB 存储数据时&#xff0c;经常会涉及到将 MongoDB 的文档对象转换为对象列表的需求。在 Java 中&#xff0c;我们可以使用 MongoDB 的 Java 驱动程序和自定义类来实现这一转换过程。 本篇博客将介绍如何将 MongoDB 中的 List<Document> 转换为对象列表。…

【Nodejs】操作mongodb数据库

1.简介 Mongoose是一个让我们可以通过Node来操作MongoDB的模块。Mongoose是一个对象文档模型(ODM)库,它对Node原生的MongoDB模块进行了进一步的优化封装&#xff0c;并提供了更多的功能。在大多数情况下&#xff0c;它被用来把结构化的模式应用到一个MongoDB集合&#xff0c;并…

docker版jxTMS使用指南:自定义频率型动态管控

本文讲解4.4版jxTMS中如何自行定义一个频率型的动态管控&#xff0c;整个系列的文章请查看&#xff1a;docker版jxTMS使用指南&#xff1a;4.4版升级内容 docker版本的使用&#xff0c;请查看&#xff1a;docker版jxTMS使用指南 4.0版jxTMS的说明&#xff0c;请查看&#xff…

数据结构:链表的一些经典的OJ题目

文章目录 写在前面链表OJ调试技巧移除链表元素反转链表链表的中间节点链表中倒数第K个节点链表分割问题 写在前面 本篇为本人学习链表的过程中遇到的典型OJ题&#xff0c;于是整理出来分享思路和便于后续重新学习&#xff0c;每个标题均可跳转至对应习题&#xff0c;大多为Lee…

宝塔面板Django项目部署(无数据库版)

近日在学习使用宝塔面板部署Django开发的web项目&#xff0c;走了不少弯路花了3天的时间才完成下面的文字&#xff0c;希望这篇文字能给正在摸索中的人带去点帮助。 一、安装宝塔面板 打开宝塔面板的官方网站(https://www.bt.cn/new/index.html).点击" " 会看到: 当…

内核链表在用户程序中的移植和使用

基础知识 struct list_head {struct list_head *next, *prev; }; 初始化&#xff1a; #define LIST_HEAD_INIT(name) { (name)->next (name); (name)->prev (name);} 相比于下面这样初始化&#xff0c;前面初始化的好处是&#xff0c;处理链表的时候&#xff0c;不…

小程序 多层次对象数组的赋值、动态赋值

1、给对象赋值 data: {form: {Name: ,IDCard: ,Sex: ,}},对单个属性赋值 this.setData({form.Name:章三,[form.Sex]:女,}) 动态赋值 onChangeDate(e) {let field e.currentTarget.dataset.field;this.setData({[form.${field}]: e.detail.data})}, field 是wxml上通过dat…

Jenkins构建完成后发送消息至钉钉

钉钉群的最终效果&#xff1a; 1、jenkins安装DingTalk插件&#xff0c;安装完成后重启 2、配置钉钉插件 参考官网文档&#xff1a;快速开始 | 钉钉机器人插件 系统管理 拉到最下面&#xff0c;可以看到钉钉配置 按照如下配置钉钉机器人 配置完成可以点击测试按钮&#xff0…

Tensorflow报错protobuf requires Python ‘>=3.7‘ but the running Python is 3.6.8

报错信息 仔细观察下方命令后&#xff0c;可得运行:python -m pip install --upgrade pip即可 完成后再次执行性安装命令 成功&#xff01;&#xff01;&#xff01;

结构型-外观模式(Facade Pattern)

概述 外观模式是一种结构型设计模式&#xff0c;它提供了一个统一的接口&#xff0c;用于访问子系统中的一组接口。通过在外观类中定义一个高层接口&#xff0c;外观模式隐藏了子系统的复杂性&#xff0c;并将客户端与子系统的内部逻辑解耦。 优点&#xff1a; 简化了客户端…