jetcache 2级缓存模式实现批量清除

需求

希望能够实现清理指定对象缓存的方法,例如缓存了User表,当User表巨大时,通过id全量去清理不现实,耗费资源也巨大。因此需要能够支持清理指定本地和远程缓存的批量方法。

分析

查看jetcache生成的cache接口,并没有提供一个例如getAll()或invalidate的方法。因此需要能够扩展;

查看jetcache源码,jetcache对于单级和多级缓存实现了统一的cache接口;

当为单级缓存时,直接返回缓存的包装Cache;

当为多级缓存时,返回MultiLevelCache;

所有的缓存,都实现了接口的unwrap方法,当指定一个类型时,会返回对应的包装Cache,否则抛出IllegalArgumentException;

源码里MultiLevelCache的unwrap如下:

    @Overridepublic <T> T unwrap(Class<T> clazz) {Objects.requireNonNull(clazz);for (Cache cache : caches) {try {T obj = (T) cache.unwrap(clazz);if (obj != null) {return obj;}} catch (IllegalArgumentException e) {// ignore}}throw new IllegalArgumentException(clazz.getName());}

也就是说,当多级缓存(这里是2级,实际可以支持多级)时,可以通过类型指定unwarp到对应的缓存,这样我们就可以通过cache拿到对应的本地缓存,进而调用缓存全量清理方法

实现

因此,实现思路如下:

对于本地的缓存,直接unwrap后全量清理掉;

对于远程的缓存,直接redis缓存访问,并通过key的查询方法,将符合条件的缓存批量清理掉;

对于其他机器的缓存,采用订阅发布的方式,让其他机器收到消息后unwrap并清理本地缓存。

1) 本地缓存处理

将jetcache的缓存拿出来unwrap即可调用caffeine cache的invalidateAll实现清理本地缓存,实现一个方法:

	@Overridepublic void evictCacheLocal() {//清理本地if(cache != null){com.github.benmanes.caffeine.cache.Cache caffeineCache = cache.unwrap(com.github.benmanes.caffeine.cache.Cache.class);caffeineCache.invalidateAll();}}

2) 远程缓存处理

远程的目前系统使用了redission驱动,使用RKeys将符合前缀的远程清理掉。getKeysByPattern是按10个一组SCAN得到,因此不会阻塞redis,按100个一组清理即可,如果数据较多,可以考虑更大点

	@Overridepublic void evictCacheAll() {// 清理redisRKeys keys = redissonClient.getKeys();Iterator<String> keysList = keys.getKeysByPattern(GlobalEx.CACHEREGION_ENTITY + entityClass.getSimpleName() + "-*").iterator();List<String> processList = new ArrayList<>();while(keysList.hasNext()) {processList.add(keysList.next());if(processList.size() == 100){keys.delete(processList.toArray(new String[processList.size()]));processList.clear();}}if(processList.size() > 0){keys.delete(processList.toArray(new String[processList.size()]));}}

3) 其它机器缓存处理

研究了下源码,jetcache没有很方便的扩展点,因此直接绕过jetcache的订阅发布。直接用其它组件去实现订阅发布,目前系统已经引入了redission,因此直接使用redission的订阅/发布。

这里实现了一个订阅监听列表,直接在subsys.<子系统>.notify添加自己的发布/监听器即可

监听消息类,notifyType可以区别消息类型

package org.ccframe.commons.notify;import com.alibaba.fastjson2.annotation.JSONField;
import lombok.AllArgsConstructor;
import lombok.Data;@Data
@AllArgsConstructor
public class NotifyMessage {private int notifyType;@JSONField(name = "message")private String message;
}

消息监听基类,使用Json通知消息

package org.ccframe.commons.notify;import com.alibaba.fastjson2.JSON;
import lombok.extern.log4j.Log4j2;
import org.ccframe.commons.helper.CcNotifyHelper;
import org.springframework.beans.factory.annotation.Autowired;import java.lang.reflect.ParameterizedType;
import java.lang.reflect.Type;@Log4j2
public abstract class BaseNotifyListener<T> {public abstract int getNotifyType();private final Class<T> messageClass;@Autowiredprivate CcNotifyHelper ccNotifyHelper;public BaseNotifyListener(){Type genType = getClass().getGenericSuperclass();this.messageClass = (Class<T>) ((ParameterizedType) genType).getActualTypeArguments()[0];}public void receiveData(String notifyMessage){T message = JSON.parseObject(notifyMessage, messageClass);try {process(message);}catch (Throwable tr){log.error(tr);}}public void sendData(T notifyMessage){ccNotifyHelper.sendNotify(getNotifyType(), JSON.toJSONString(notifyMessage));}protected abstract void process(T message);
}

记得配置一下包扫描

@ComponentScan({"org.ccframe.subsys.*.notify" //所有的订阅广播
})

然后写一个子类,收到消息后调用baseservice的清理方法清理本地缓存

package org.ccframe.subsys.core.notify;import org.apache.commons.lang3.StringUtils;
import org.ccframe.commons.base.BaseService;
import org.ccframe.commons.helper.SpringContextHelper;
import org.ccframe.commons.notify.BaseNotifyListener;
import org.springframework.stereotype.Component;@Component
public class ClearLocalCacheNotifyListener extends BaseNotifyListener<String> {@Overridepublic int getNotifyType() {return 0;}@Overrideprotected void process(String message) {SpringContextHelper.getBean(StringUtils.uncapitalize(message) + "Service", BaseService.class).evictCacheLocal();}
}

因此在evictCacheAll最后调用发送清理消息,收到所有的订阅清空本地对应对象缓存即可

	@Overridepublic void evictCacheAll() {// 清理redisRKeys keys = redissonClient.getKeys();Iterator<String> keysList = keys.getKeysByPattern(GlobalEx.CACHEREGION_ENTITY + entityClass.getSimpleName() + "-*").iterator();List<String> processList = new ArrayList<>();while(keysList.hasNext()) {processList.add(keysList.next());if(processList.size() == 100){keys.delete(processList.toArray(new String[processList.size()]));processList.clear();}}if(processList.size() > 0){keys.delete(processList.toArray(new String[processList.size()]));}// 广播清理本地缓存clearLocalCacheNotifyListener.sendData(entityClass.getSimpleName());}

写个controller方法测试一下

    @DubboReference(check=false)private IUserService userService;@GetMapping("test")public QuartzRowDto test(@ApiIgnore HttpServletRequest request) {userService.evictCacheAll();return new QuartzRowDto();}

检查一下,能够收到清理消息清理本地缓存

这样,即可快速的完成本地和远程的指定表缓存的清理,也不受表数据过大影响了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/768346.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络⑧ —— IP地址

IP位于TCP/IP参考模型的第三层&#xff0c;也就是⽹络层 ⽹络层的主要作⽤&#xff1a;实现主机与主机之间的通信&#xff0c;也叫点对点通信 问题1&#xff1a;⽹络层(IP)与数据链路层(MAC)有什么关系呢&#xff1f; MAC的作⽤&#xff1a;实现直连的两个设备之间通信。IP的…

Oracle参数文件详解

1、参数文件的作用 参数文件用于存放实例所需要的初始化参数&#xff0c;因为多数初始化参数都具有默认值&#xff0c;所以参数文件实际存放了非默认的初始化参数。 2、参数文件类型 1&#xff09;服务端参数文件&#xff0c;又称为 spfile 二进制的文件&#xff0c;命名规则…

Django 三板斧、静态文件、request方法

【一】三板斧 【1】HttpResponse &#xff08;1&#xff09;介绍 HttpResponse是Django中的一个类&#xff0c;用于构建HTTP响应对象。它允许创建并返回包含特定内容的HTTP响应。 &#xff08;2&#xff09;使用 导入HttpResponse类 from django.http import HttpResponse创…

八股文(1)

管道 匿名管道和命名管道 命名管道的使用是什么&#xff1f;在linux系统如何实现 命名管道&#xff08;Named Pipe&#xff09;&#xff0c;也称为FIFO&#xff08;First In First Out&#xff09;&#xff0c;是一种在UNIX和Linux系统中用于进程间通信&#xff08;IPC&…

sqllabs1-7sql注入

先在?id参数后面判断是否存在sql注入 id1 返回正常 id1 返回报错&#xff08;说明可能存在sql注入&#xff09; id1 and 11 返回正常 id1 and 12 返回正常 id1 and 11 报错 id1 and 12 报错 说明$id后面可能还存在sql语句(源码源码&#xff1a;$sql"S…

HTML:常用标签

1. 标签概念 <!-- 五要素&#xff1a; 文档声明<!DOCTYPE html> 根标签<html></html> 头部元素<head></head> 主体元素<body></body> 注释标签 1.html文件的根标签&#xff0c; <html></html>所有其他标签都要放…

yarn、npm设置淘宝国内镜像

NPM 1. 查询当前镜像 npm get registry 2. 设置为淘宝镜像 npm config set registry https://registry.npm.taobao.org/ (旧地址&#xff0c;不再维护&#xff0c;可以使用) npm config set registry https://registry.npmmirror.com/ (最新地址)3. 设置为官…

第三十一章 配置 Web Gateway 的默认参数 - 事件记录参数

文章目录 第三十一章 配置 Web Gateway 的默认参数 - 事件记录参数 第三十一章 配置 Web Gateway 的默认参数 - 事件记录参数 事件日志级别字段指定 Web Gateway 写入 Web Gateway 事件日志的信息。日志记录选项定义为一串字符&#xff0c;每个字符代表一个日志记录命令。此处…

springboot实现简单的excel导入

前文其实已经实现了较为复杂的excel导入了&#xff0c;这篇博客就给大家介绍简单的excel表格导入方法 以下是我的excel表格&#xff1a; 以下是我的实体类&#xff1a; package com.datapojo.bean;import com.baomidou.mybatisplus.annotation.IdType; import com.baomidou.m…

直接插入排序 希尔排序 选择排序 堆排序

目录 一. 排序的概念及应用 1.1 排序的概念 1.2 常见的排序算法 二. 常见排序算法的实现(从小到大排序) 2.1 插入排序 2.1.1基本思想&#xff1a; 2.1.2 直接插入排序 2.1.3 希尔排序( 缩小增量排序) 2.2 选择排序 2.2.1基本思想&#xff1a; 2.2.2 直接选择排序: 2…

【Node.js】mysql 操作 MySQL 数据库

实际案例 db/index.js const mysql require(mysql)// 创建数据库的连接 const db mysql.createPool({host: localhost,user: root,password: hxg20021126,database: management-pro })module.exports dbLoginController.js const db require(../db/index) const bcrypt …

动态规划——线性dp

数字三角形 // 从上到下 #include <iostream> #include <algorithm> using namespace std; const int N 510, INF 1e9; int n; int a[N][N]; int f[N][N];int main() {scanf("%d", &n);for (int i 1; i < n; i )for (int j 1; j < i; j …

宝塔面板安装sqlite

宝塔面板是一个非常流行的服务器管理面板&#xff0c;它提供了许多方便的功能来管理服务器和网站。但是&#xff0c;默认情况下&#xff0c;宝塔面板不支持SQLite数据库的安装和管理。SQLite是一个轻量级的嵌入式数据库&#xff0c;它在很多应用程序中被广泛使用。如果你需要在…

计算机组成原理 CPU组成与机器指令执行实验

一、实验目的 (1)将微程序控制器同执行部件( 整个数据通路)联机&#xff0c;组成一台模型计算机; (2)用微程序控制器控制模型机数据通路; (3)通过CPU运行九条机器指令(排除中断指令)组成的简单程序&#xff0c;掌握机器指令与微指令的关系&#xff0c;牢固建立计算机的整机概…

深度学习pytorch——2D函数优化实例(持续更新)

课程&#xff1a;课时46 优化问题实战_哔哩哔哩_bilibili 这就是我们今天要求的2D函数&#xff1a; 下图是使用python绘制出来的图像&#xff1a; 但是可以看出有4个最小值&#xff0c;但是还是不够直观&#xff0c;还是看课程里面给的比较好&#xff0c;蓝色是最低点位置&am…

Python 全栈系列236 rabbit_agent搭建

说明 通过rabbit_agent, 以接口方式实现对队列的标准操作&#xff0c;将pika包在微服务内&#xff0c;而不必在太多地方重复的去写。至少在服务端发布消息时&#xff0c;不必再去考虑这些问题。 在分布式任务的情况下&#xff0c;客户端本身会启动一个持续监听队列的客户端服…

动态规划16 | ● 583. 两个字符串的删除操作 ● *72. 编辑距离

583. 两个字符串的删除操作 https://programmercarl.com/0583.%E4%B8%A4%E4%B8%AA%E5%AD%97%E7%AC%A6%E4%B8%B2%E7%9A%84%E5%88%A0%E9%99%A4%E6%93%8D%E4%BD%9C.html 考点 子序列问题 我的思路 dp[i][j]的含义是&#xff0c;当两个字符串分别取前i和j个元素时&#xff0c;对应…

路由相关基本概念(IP入门)

IP协议--网络层--路由器、三层交换机&#xff08;冗余备份&#xff09; 路由器的功能&#xff1a; 1、构建和维护路由表 2、根据路由表进行转发 3、路由器接口划分广播域 路由--实现路由的设备&#xff08;路由器、多层交换机&#xff09; 协议&#xff1a;定义一种语言 路…

Django(一)- 环境搭建和快速入门

一、搭建环境 1、创建Python虚拟环境 (base) C:\Users\35351>conda create -n django_study python3.9 2、安装Django (django_study) C:\Users\35351>pip install Django >> 查看安装版本 (django_study) C:\Users\35351>python -m django --version 3、安…

数据分析与挖掘

数据起源&#xff1a; 规模庞大&#xff0c;结构复杂&#xff0c;难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集。具有5V特性&#xff1a;数量&#xff08;Volume&#xff09;&#xff1a;数据量大、多样性&#xff08;Variety&#xff09;&#xff1a…