Java17 --- redis7缓存双写一致性

一、缓存双写一致性

  1. 如果redis中有数据：需要和数据库中的值相同。
  2. 如果redis中没有数据：数据库中的值要是最新值，且准备回写redis。
  3. 只读缓存。
  4. 读写缓存：①、同步直写策略：写数据库后也同步写redis缓存，缓存和数据库中的数据一致，对于读写缓存来说，要想保证缓存和数据库中的数据一致，就要采用同步直写策略。②、异步缓写策略：正常业务运行中，mysql数据变动了，但是可以在业务上容许出现一定时间后才作用于redis，如仓库、物流等功能。异常情况出现了，不得不将失败的动作重新修补，有可能需要借助kafka或者rabbitMQ等消息中间件，实现重试重写。
  5. 双检加锁策略：多个线程同时去查询数据库的这条数据，那么就可以第一个查询数据的请求上使用一个互斥锁来锁住它。其他线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。后面的线程进来发现已经有缓存了，就直接走缓存。

1.1、数据库和缓存一致性的更新策略

目的：给缓存设置过期时间，定期清理缓存并回写，是保证最终一致性的解决方案。

可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操作只是尽最大努力即可。就是如果数据库写入成功，缓存更新失败，那么只要到达过期时间，则后面的读请求自然会从数据库中读取新值然后回填缓存，达到一致性，要以mysql的数据库写入库为准。

1.1.1、在停机的情况下

给出公告，服务升级，单线程，这样重量级的数据操作最好不要多线程。

1.1.2、先更新数据库，再更新缓存

1、情况1：①、先更新mysql的某商品的库存，当前商品的库存是100，更新为99。②、先更新mysql修改为99成功，然后更新redis。③、出现异常，更新redis失败了，导致MySQL里面的库存是99而redis里面还是100。所以会导致数据库里的数据和缓存redis里面数据不一致，读到redis脏数据。

2、情况2：在多线程环境下，A,B两个线程有快有慢。①、A更新mysql为100。②、B更新mysql为90。③、B先更新redis为90。④、A再更新redis为100。所以导致redis与mysql更新的数据不一致。

1.1.3、先更新缓存，再更新数据库

不推荐：业务上一般把mysql作为底单数据库，保证最后解释。

1.1.4、先删除缓存，再更新数据库

1、请求A进行写操作，删除redis缓存后，工作正在进行中，更新mysql……A还没有彻底更新完mysql，还没commit。

2、请求B开工查询，查询redis发现缓存不存在(被A从redis中删除了)。

3、请求B继续，去数据库查询得到了mysql中的旧值(A还没有更新完)。

4、请求B将旧值写回redis缓存。

5、请求A将新值写入mysql数据库。

这样依然会导致数据不一致的情况发生。

解决方法：采用延时双删策略，A线程删除redis缓存，然后sleep一段时间，这期间就是为了让B线程先从数据库读取数据，再把缺失的数据写入缓存，然后线程A再进行删除。所以，线程A sleep的时间，就需要大于线程B读取数据再写入缓存的时间。这样，其它线程读取数据时，会发现缓存缺失，所以会从数据库中读取最新值，因为这个方案会在第一次删除缓存后，延迟一段时间再次进行删除，所以叫做：延迟双删。

延时双删的不足：

  1. 这个删除该休眠多久呢？

线程A sleep的时间，需要大于线程B读取数据再写入缓存的时间。①、在业务程序运行的时候，统计下线程读数据和写缓存的操作时间，评估出项目的读数据业务逻辑的耗时，以此为基础，然后写数据的休眠时间则在读数据业务的耗时上加百毫秒就行。这样确保请求结束，写请求可以删除读请求造成的缓存脏读。②、新启动一个后台监控程序，如watchdog监控程序会加时。

1.1.5、先更新数据库，在删除缓存

缺点：缓存删除失败或者来不及，导致请求再次访问redis时缓存命中，读取到的是缓存旧值。

解决方案：

  1. 可以把要删除的缓存值或者是要更新的数据库值暂存到消息队列中(如使用Kafaka/RabbitMQ)。
  2. 当程序没有能够成功地删除缓存值或者是更新数据库值时，可以从消息队列中重新读取这些值，然后再次进行删除或更新。
  3. 如果能够成功地删除或更新，我们就要把这些值从消息队列中去除，以免重复操作，此时，也可以保证数据库和缓存的数据一致了，否则还需要再次进行重试。
  4. 当重试超过一定次数后，就需要向业务层发送保错信息了，通知运维人员。

总结：

1.2、Redis与Mysql数据双写一致性

1.2.1、canal

主要用途用于MySQL数据库增量日志数据的订阅，消费和解析，是阿里巴巴开发并开源的，采用Java语言开发。

主要功能：1、数据库镜像，2、数据库实时备份。3、索引构建和实时维护(拆分异构索引、倒排索引等)。4、业务cache刷新。5、带业务逻辑的增量数据处理。

工作原理：①、canal模拟MySQL  slave的交互协议，伪装自己为MySQL master发送dump协议。②、MySQL master收到dump请求，开始推送binary log给slave（即canal）

③、canal解析binary  log对象(原始为byte流)。

下载地址：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件

1.2.2、Redis与Mysql数据双写一致性实现

mysql前置配置：

  • 、MySQL 5.7.36
  • 、当前主机二进制日志：SHOW  MASTER STATUS;
  • 、查看：SHOW VARIABLES LIKE 'log_bin';
  • 、开启MySQL的binlog写入功能，在mysql的ini文件中配置

log-bin=mysql-bin #开启binlog

binlog-format=ROW #开启ROW模式

server_id=1 #配置MySQL replction需要定义，不要和canal的slaveid重复

 

 

  • 重启mysql
  • 、再次查看：SHOW VARIABLES LIKE 'log_bin';

 

  • 授权canal连接MySQL

#先检查是否有canal

SELECT*FROM mysql.user

#没有就创建

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';

GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';

FLUSH PRIVILEGES;

 

 

Canal服务端：

  • 、下载linux版本：

 

解压

 

配置文件

 

 

启动

 

查看日志

 

 

Java程序：

  • 、sql脚本：

CREATE TABLE `a_user`(

`id` BIGINT(20) NOT NULL AUTO_INCREMENT,

`userName` VARCHAR(100) NOT NULL,

PRIMARY  KEY(`id`)

)ENGINE=INNODB  AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4

 

public class RedisCanalClientExample {public static final Integer _60SECONDS = 60;public static final String REDIS_IP_ADDR = "192.168.200.110";private static void redisInsert(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.set(columns.get(0).getValue(), jsonObject.toJSONString());} catch (Exception e) {e.printStackTrace();}}}private static void redisDelete(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.del(columns.get(0).getValue());} catch (Exception e) {e.printStackTrace();}}}private static void redisUpdate(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.set(columns.get(0).getValue(), jsonObject.toJSONString());System.out.println("---------update after: " + jedis.get(columns.get(0).getValue()));} catch (Exception e) {e.printStackTrace();}}}public static void printEntry(List<Entry> entrys) {for (Entry entry : entrys) {if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {continue;}RowChange rowChage = null;try {//获取变更的row数据rowChage = RowChange.parseFrom(entry.getStoreValue());} catch (Exception e) {throw new RuntimeException("ERROR ## parser of eromanga-event has an error,data:" + entry.toString(), e);}//获取变动类型EventType eventType = rowChage.getEventType();System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType));for (RowData rowData : rowChage.getRowDatasList()) {if (eventType == EventType.INSERT) {redisInsert(rowData.getAfterColumnsList());} else if (eventType == EventType.DELETE) {redisDelete(rowData.getBeforeColumnsList());} else {//EventType.UPDATEredisUpdate(rowData.getAfterColumnsList());}}}}public static void main(String[] args) {System.out.println("---------O(∩_∩)O哈哈~ initCanal() main方法-----------");//=================================// 创建链接canal服务端CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(REDIS_IP_ADDR, 11111),"example","","");int batchSize = 1000;//空闲空转计数器int emptyCount = 0;System.out.println("---------------------canal init OK，开始监听mysql变化------");try {connector.connect();//设置监控的数据库与表//connector.subscribe(".*\\..*");connector.subscribe("test1.t_user");connector.rollback();int totalEmptyCount = 10 * _60SECONDS;while (emptyCount < totalEmptyCount) {System.out.println("我是canal，每秒一次正在监听:" + UUID.randomUUID().toString());Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;try {TimeUnit.SECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}} else {//计数器重新置零emptyCount = 0;printEntry(message.getEntries());}connector.ack(batchId); // 提交确认// connector.rollback(batchId); // 处理失败, 回滚数据}System.out.println("已经监听了" + totalEmptyCount + "秒，无任何消息，请重启重试......");} finally {connector.disconnect();}}
}

 

 

 

 

 

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/855223.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

光纤三维布里渊温度和应变分布matlab模拟与仿真

光纤三维布里渊温度和应变分布matlab模拟与仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 光纤三维布里渊温度和应变分布matlab模拟与仿真。其中 , 布里渊散射是光波与声波在光纤中传播时相互作用而产生的光散射过程 , 在不 同的条件下 , 布里渊散射又分…
阅读更多...
70、最长上升子序列

70、最长上升子序列

最长上升子序列 题目描述 给定一个长度为N的数列&#xff0c;求数值严格单调递增的子序列的长度最长是多少。 输入格式 第一行包含整数N。 第二行包含N个整数&#xff0c;表示完整序列。 输出格式 输出一个整数&#xff0c;表示最大长度。 数据范围 1 ≤ N ≤ 1000 &am…
阅读更多...
数据结构与算法-字符出现的次数

数据结构与算法-字符出现的次数

问题描述 以下是这个找出字符串中字符串出现频率最多的字符。大家可以自行研究一下&#xff0c;题目不难&#xff0c;我今天尝试使用C语言来完成解答&#xff0c;但是在解答过程居然出现了一个意想不到的问题。可能是高级语言用多了&#xff0c;C语言某些函数的限制和风险忘记管…
阅读更多...
C++之std::type_identity

C++之std::type_identity

目录 1.简介 2.C20的std::type_identity 3.使用 type_identity 3.1.阻止参数推导 3.1.1.模板参数推导过程中的隐式类型转换 3.1.2.强制显式实例化 3.2.阻止推断指引 3.3.类型保持 3.4.满足一些稀奇古怪的语法 4.示例 5.总结 1.简介 std::type_identity 是 C17 引入的…
阅读更多...
Spring框架对BeanUtils.copyProperties的优化

Spring框架对BeanUtils.copyProperties的优化

前言 在高并发环境下&#xff0c;我们难免要进行大量的存库操作&#xff0c;而一般的操作是监听kafka然后将消息转换成实体类&#xff0c;再使用一些orm框架(mybatis-plus,jpa等)进行入库&#xff0c;我们在将消息转换的时候难免要用到反射&#xff0c;今天我们来讲讲Spring框…
阅读更多...
【Python/Pytorch - 网络模型】-- 手把手搭建E3D LSTM网络

【Python/Pytorch - 网络模型】-- 手把手搭建E3D LSTM网络

文章目录 文章目录 00 写在前面01 基于Pytorch版本的E3D LSTM代码02 论文下载 00 写在前面 测试代码&#xff0c;比较重要&#xff0c;它可以大概判断tensor维度在网络传播过程中&#xff0c;各个维度的变化情况&#xff0c;方便改成适合自己的数据集。 需要github上的数据集…
阅读更多...
这些数据可被Modbus采集,你还不知道???

这些数据可被Modbus采集,你还不知道???

为什么要用Modbus采集模块 Modbus采集模块之所以被广泛使用&#xff0c;是因为它提供了标准化的通信协议&#xff0c;确保了不同设备间的兼容性。它支持多种通信方式&#xff0c;易于实现&#xff0c;并且能够适应不同的网络环境。Modbus模块能够收集和传输各种工业数据&#x…
阅读更多...
[递归和栈] Boolean Expressions

[递归和栈] Boolean Expressions

描述 The objective of the program you are going to produce is to evaluate boolean expressions as the one shown next: Expression: ( V | V ) & F & ( F | V ) where V is for True, and F is for False. The expressions may include the following operator…
阅读更多...
061、Python 包：模块管理

061、Python 包：模块管理

包&#xff08;Package&#xff09;是一种用于组织模块的层次结构。包实际上就是一个包含了__init__.py文件的目录&#xff0c;该文件可以为空或包含包的初始化代码。通过使用包&#xff0c;可以更好地组织和管理大型项目中的模块&#xff0c;避免命名冲突&#xff0c;并提高代…
阅读更多...
Hadoop+Spark大数据技术（自命题试卷测试）

Hadoop+Spark大数据技术（自命题试卷测试）

试卷一 一、选择题 (每小题2分&#xff0c;共20分) 1. Hadoop 核心组件包括&#xff1a; A. HDFS 和 Hive B. HDFS 和 MapReduce C. HBase 和 Spark D. YARN 和 ZooKeeper 2. HDFS 数据块存储方式的优势不包括&#xff1a; A. 文件大小不受单一磁盘大小…
阅读更多...
kettle从入门到精通 第七十一课 ETL之kettle 再谈http post，轻松掌握body中传递json参数

kettle从入门到精通 第七十一课 ETL之kettle 再谈http post，轻松掌握body中传递json参数

场景&#xff1a; kettle中http post步骤如何发送http请求且传递body参数&#xff1f; 解决方案&#xff1a; http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口&#xff0c;索性用python搭建一个简单的接口&#xff0c;关键代码如下&#…
阅读更多...
深度学习模型的生命周期与推理系统架构

深度学习模型的生命周期与推理系统架构

目录 深度学习模型的生命周期 ​编辑 深度学习模型的生命周期 推理相比训练的新特点与挑战 推理系统架构 推理系统 vs 推理引擎 顶层：API接口和模型转换 中层：运行时（计算引擎） 底层：硬件级优化 边缘设备计算 主要问题 边缘部署和推理方式 方式1：边缘设备计…
阅读更多...
可提供实习证明/实习鉴定报告，企业项目试岗实训开营啦

可提供实习证明/实习鉴定报告，企业项目试岗实训开营啦

在数字化转型的浪潮中&#xff0c;大数据和人工智能等前沿技术已成为推动经济发展和科技进步的关键动力。当前&#xff0c;全球各行各业都在积极推进数字化转型&#xff0c;不仅为经济增长注入新活力&#xff0c;也对人才市场结构产生了深刻影响&#xff0c;尤其是对数字化人才…
阅读更多...
如何编辑和修改ROM，快速上手

如何编辑和修改ROM，快速上手

编辑和修改ROM是一个相对复杂的过程&#xff0c;需要一定的技术知识和准备。以下是编辑和修改ROM的详细步骤&#xff0c;供您参考&#xff1a; 一、准备工作 准备一台可root的安卓手机&#xff0c;并确保手机已解锁bootloader。 在电脑上下载并安装ADB&#xff08;Android De…
阅读更多...
关于lamda表达式的使用

关于lamda表达式的使用

Lambda表达式是一种匿名函数，即没有函数名的函数，它可以以更简洁、更灵活的方式编写代码。以下是Lambda表达式的常用方式： 无参数，无返回值： 如果抽象方法不带参数且不返回值，可以使用空括号和主体编写Lambda表达式。例如：() -> System.out.println(“Hello, World!…
阅读更多...
力扣（2024.06.18）

力扣（2024.06.18）

1. 39——组合总和 给你一个无重复元素的整数数组 candidates 和一个目标整数 target &#xff0c;找出 candidates 中可以使数字和为目标数 target 的 所有不同组合&#xff0c;并以列表形式返回。你可以按任意顺序返回这些组合。candidates 中的同一个数字可以无限制重复被选…
阅读更多...
CentOS更新镜像源

CentOS更新镜像源

0、背景 Linux下安装很多指令或者工具时&#xff0c;发现yum执行超时或者返回没找到有效的package&#xff0c;此时需要更新yum源 Yum&#xff08;Yellowdog Updater Modified&#xff09;是一种在 Linux 操作系统中用于软件包管理的工具 Yum 源就是存储那些软件包及其相关信息…
阅读更多...
在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

作者简介&#xff1a;金津&#xff0c;智领云高级研发经理&#xff0c;华中科技大学计算机系硕士。加入智领云 8 余年&#xff0c;长期从事云原生、容器化编排领域研发工作&#xff0c;主导了智领云自研的 BDOS 应用云平台、云原生大数据平台 KDP 等产品的开发&#xff0c;并在…
阅读更多...
基因名写作的规范

基因名写作的规范

基因名写作的规范通常会因物种和领域的不同而有所变化&#xff0c;但以下是一些通用的指导原则&#xff1a; 斜体表示基因名&#xff1a;在论文和其他科学文献中&#xff0c;基因名通常用斜体书写。例如&#xff0c;villin2 应该写作 villin2。 大小写&#xff1a; 对于真核生…
阅读更多...
联邦学习周记｜第四周

联邦学习周记｜第四周

论文&#xff1a;Active Federated Learning 链接 将主动学习引入FL&#xff0c;每次随机抽几个Client拿来train&#xff0c;把置信值低的Client概率调大&#xff0c;就能少跑几次。 论文&#xff1a;Active learning based federated learning for waste and natural disast…
阅读更多...
最新文章

Copyright @ 2022~2023