Java17 --- redis7缓存双写一致性

一、缓存双写一致性

  1. 如果redis中有数据：需要和数据库中的值相同。
  2. 如果redis中没有数据：数据库中的值要是最新值，且准备回写redis。
  3. 只读缓存。
  4. 读写缓存：①、同步直写策略：写数据库后也同步写redis缓存，缓存和数据库中的数据一致，对于读写缓存来说，要想保证缓存和数据库中的数据一致，就要采用同步直写策略。②、异步缓写策略：正常业务运行中，mysql数据变动了，但是可以在业务上容许出现一定时间后才作用于redis，如仓库、物流等功能。异常情况出现了，不得不将失败的动作重新修补，有可能需要借助kafka或者rabbitMQ等消息中间件，实现重试重写。
  5. 双检加锁策略：多个线程同时去查询数据库的这条数据，那么就可以第一个查询数据的请求上使用一个互斥锁来锁住它。其他线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。后面的线程进来发现已经有缓存了，就直接走缓存。

1.1、数据库和缓存一致性的更新策略

目的：给缓存设置过期时间，定期清理缓存并回写，是保证最终一致性的解决方案。

可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操作只是尽最大努力即可。就是如果数据库写入成功，缓存更新失败，那么只要到达过期时间，则后面的读请求自然会从数据库中读取新值然后回填缓存，达到一致性，要以mysql的数据库写入库为准。

1.1.1、在停机的情况下

给出公告，服务升级，单线程，这样重量级的数据操作最好不要多线程。

1.1.2、先更新数据库，再更新缓存

1、情况1：①、先更新mysql的某商品的库存，当前商品的库存是100，更新为99。②、先更新mysql修改为99成功，然后更新redis。③、出现异常，更新redis失败了，导致MySQL里面的库存是99而redis里面还是100。所以会导致数据库里的数据和缓存redis里面数据不一致，读到redis脏数据。

2、情况2：在多线程环境下，A,B两个线程有快有慢。①、A更新mysql为100。②、B更新mysql为90。③、B先更新redis为90。④、A再更新redis为100。所以导致redis与mysql更新的数据不一致。

1.1.3、先更新缓存，再更新数据库

不推荐：业务上一般把mysql作为底单数据库，保证最后解释。

1.1.4、先删除缓存，再更新数据库

1、请求A进行写操作，删除redis缓存后，工作正在进行中，更新mysql……A还没有彻底更新完mysql，还没commit。

2、请求B开工查询，查询redis发现缓存不存在(被A从redis中删除了)。

3、请求B继续，去数据库查询得到了mysql中的旧值(A还没有更新完)。

4、请求B将旧值写回redis缓存。

5、请求A将新值写入mysql数据库。

这样依然会导致数据不一致的情况发生。

解决方法：采用延时双删策略，A线程删除redis缓存，然后sleep一段时间，这期间就是为了让B线程先从数据库读取数据，再把缺失的数据写入缓存，然后线程A再进行删除。所以，线程A sleep的时间，就需要大于线程B读取数据再写入缓存的时间。这样，其它线程读取数据时，会发现缓存缺失，所以会从数据库中读取最新值，因为这个方案会在第一次删除缓存后，延迟一段时间再次进行删除，所以叫做：延迟双删。

延时双删的不足：

  1. 这个删除该休眠多久呢？

线程A sleep的时间，需要大于线程B读取数据再写入缓存的时间。①、在业务程序运行的时候，统计下线程读数据和写缓存的操作时间，评估出项目的读数据业务逻辑的耗时，以此为基础，然后写数据的休眠时间则在读数据业务的耗时上加百毫秒就行。这样确保请求结束，写请求可以删除读请求造成的缓存脏读。②、新启动一个后台监控程序，如watchdog监控程序会加时。

1.1.5、先更新数据库，在删除缓存

缺点：缓存删除失败或者来不及，导致请求再次访问redis时缓存命中，读取到的是缓存旧值。

解决方案：

  1. 可以把要删除的缓存值或者是要更新的数据库值暂存到消息队列中(如使用Kafaka/RabbitMQ)。
  2. 当程序没有能够成功地删除缓存值或者是更新数据库值时，可以从消息队列中重新读取这些值，然后再次进行删除或更新。
  3. 如果能够成功地删除或更新，我们就要把这些值从消息队列中去除，以免重复操作，此时，也可以保证数据库和缓存的数据一致了，否则还需要再次进行重试。
  4. 当重试超过一定次数后，就需要向业务层发送保错信息了，通知运维人员。

总结：

1.2、Redis与Mysql数据双写一致性

1.2.1、canal

主要用途用于MySQL数据库增量日志数据的订阅，消费和解析，是阿里巴巴开发并开源的，采用Java语言开发。

主要功能：1、数据库镜像，2、数据库实时备份。3、索引构建和实时维护(拆分异构索引、倒排索引等)。4、业务cache刷新。5、带业务逻辑的增量数据处理。

工作原理：①、canal模拟MySQL  slave的交互协议，伪装自己为MySQL master发送dump协议。②、MySQL master收到dump请求，开始推送binary log给slave（即canal）

③、canal解析binary  log对象(原始为byte流)。

下载地址：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件

1.2.2、Redis与Mysql数据双写一致性实现

mysql前置配置：

  • 、MySQL 5.7.36
  • 、当前主机二进制日志：SHOW  MASTER STATUS;
  • 、查看：SHOW VARIABLES LIKE 'log_bin';
  • 、开启MySQL的binlog写入功能，在mysql的ini文件中配置

log-bin=mysql-bin #开启binlog

binlog-format=ROW #开启ROW模式

server_id=1 #配置MySQL replction需要定义，不要和canal的slaveid重复

 

 

  • 重启mysql
  • 、再次查看：SHOW VARIABLES LIKE 'log_bin';

 

  • 授权canal连接MySQL

#先检查是否有canal

SELECT*FROM mysql.user

#没有就创建

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';

GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';

FLUSH PRIVILEGES;

 

 

Canal服务端：

  • 、下载linux版本：

 

解压

 

配置文件

 

 

启动

 

查看日志

 

 

Java程序：

  • 、sql脚本：

CREATE TABLE `a_user`(

`id` BIGINT(20) NOT NULL AUTO_INCREMENT,

`userName` VARCHAR(100) NOT NULL,

PRIMARY  KEY(`id`)

)ENGINE=INNODB  AUTO_INCREMENT=10 DEFAULT CHARSET=utf8mb4

 

public class RedisCanalClientExample {public static final Integer _60SECONDS = 60;public static final String REDIS_IP_ADDR = "192.168.200.110";private static void redisInsert(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.set(columns.get(0).getValue(), jsonObject.toJSONString());} catch (Exception e) {e.printStackTrace();}}}private static void redisDelete(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.del(columns.get(0).getValue());} catch (Exception e) {e.printStackTrace();}}}private static void redisUpdate(List<Column> columns) {JSONObject jsonObject = new JSONObject();for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size() > 0) {try (Jedis jedis = RedisUtils.getJedis()) {jedis.set(columns.get(0).getValue(), jsonObject.toJSONString());System.out.println("---------update after: " + jedis.get(columns.get(0).getValue()));} catch (Exception e) {e.printStackTrace();}}}public static void printEntry(List<Entry> entrys) {for (Entry entry : entrys) {if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {continue;}RowChange rowChage = null;try {//获取变更的row数据rowChage = RowChange.parseFrom(entry.getStoreValue());} catch (Exception e) {throw new RuntimeException("ERROR ## parser of eromanga-event has an error,data:" + entry.toString(), e);}//获取变动类型EventType eventType = rowChage.getEventType();System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType));for (RowData rowData : rowChage.getRowDatasList()) {if (eventType == EventType.INSERT) {redisInsert(rowData.getAfterColumnsList());} else if (eventType == EventType.DELETE) {redisDelete(rowData.getBeforeColumnsList());} else {//EventType.UPDATEredisUpdate(rowData.getAfterColumnsList());}}}}public static void main(String[] args) {System.out.println("---------O(∩_∩)O哈哈~ initCanal() main方法-----------");//=================================// 创建链接canal服务端CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(REDIS_IP_ADDR, 11111),"example","","");int batchSize = 1000;//空闲空转计数器int emptyCount = 0;System.out.println("---------------------canal init OK，开始监听mysql变化------");try {connector.connect();//设置监控的数据库与表//connector.subscribe(".*\\..*");connector.subscribe("test1.t_user");connector.rollback();int totalEmptyCount = 10 * _60SECONDS;while (emptyCount < totalEmptyCount) {System.out.println("我是canal，每秒一次正在监听:" + UUID.randomUUID().toString());Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;try {TimeUnit.SECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}} else {//计数器重新置零emptyCount = 0;printEntry(message.getEntries());}connector.ack(batchId); // 提交确认// connector.rollback(batchId); // 处理失败, 回滚数据}System.out.println("已经监听了" + totalEmptyCount + "秒，无任何消息，请重启重试......");} finally {connector.disconnect();}}
}

 

 

 

 

 

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/855223.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

光纤三维布里渊温度和应变分布matlab模拟与仿真

光纤三维布里渊温度和应变分布matlab模拟与仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 光纤三维布里渊温度和应变分布matlab模拟与仿真。其中 , 布里渊散射是光波与声波在光纤中传播时相互作用而产生的光散射过程 , 在不 同的条件下 , 布里渊散射又分…
阅读更多...
数据结构与算法-字符出现的次数

数据结构与算法-字符出现的次数

问题描述 以下是这个找出字符串中字符串出现频率最多的字符。大家可以自行研究一下&#xff0c;题目不难&#xff0c;我今天尝试使用C语言来完成解答&#xff0c;但是在解答过程居然出现了一个意想不到的问题。可能是高级语言用多了&#xff0c;C语言某些函数的限制和风险忘记管…
阅读更多...
C++之std::type_identity

C++之std::type_identity

目录 1.简介 2.C20的std::type_identity 3.使用 type_identity 3.1.阻止参数推导 3.1.1.模板参数推导过程中的隐式类型转换 3.1.2.强制显式实例化 3.2.阻止推断指引 3.3.类型保持 3.4.满足一些稀奇古怪的语法 4.示例 5.总结 1.简介 std::type_identity 是 C17 引入的…
阅读更多...
【Python/Pytorch - 网络模型】-- 手把手搭建E3D LSTM网络

【Python/Pytorch - 网络模型】-- 手把手搭建E3D LSTM网络

文章目录 文章目录 00 写在前面01 基于Pytorch版本的E3D LSTM代码02 论文下载 00 写在前面 测试代码&#xff0c;比较重要&#xff0c;它可以大概判断tensor维度在网络传播过程中&#xff0c;各个维度的变化情况&#xff0c;方便改成适合自己的数据集。 需要github上的数据集…
阅读更多...
这些数据可被Modbus采集,你还不知道???

这些数据可被Modbus采集,你还不知道???

为什么要用Modbus采集模块 Modbus采集模块之所以被广泛使用&#xff0c;是因为它提供了标准化的通信协议&#xff0c;确保了不同设备间的兼容性。它支持多种通信方式&#xff0c;易于实现&#xff0c;并且能够适应不同的网络环境。Modbus模块能够收集和传输各种工业数据&#x…
阅读更多...
061、Python 包：模块管理

061、Python 包：模块管理

包&#xff08;Package&#xff09;是一种用于组织模块的层次结构。包实际上就是一个包含了__init__.py文件的目录&#xff0c;该文件可以为空或包含包的初始化代码。通过使用包&#xff0c;可以更好地组织和管理大型项目中的模块&#xff0c;避免命名冲突&#xff0c;并提高代…
阅读更多...
kettle从入门到精通 第七十一课 ETL之kettle 再谈http post，轻松掌握body中传递json参数

kettle从入门到精通 第七十一课 ETL之kettle 再谈http post，轻松掌握body中传递json参数

场景&#xff1a; kettle中http post步骤如何发送http请求且传递body参数&#xff1f; 解决方案&#xff1a; http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口&#xff0c;索性用python搭建一个简单的接口&#xff0c;关键代码如下&#…
阅读更多...
深度学习模型的生命周期与推理系统架构

深度学习模型的生命周期与推理系统架构

目录 深度学习模型的生命周期 ​编辑 深度学习模型的生命周期 推理相比训练的新特点与挑战 推理系统架构 推理系统 vs 推理引擎 顶层：API接口和模型转换 中层：运行时（计算引擎） 底层：硬件级优化 边缘设备计算 主要问题 边缘部署和推理方式 方式1：边缘设备计…
阅读更多...
可提供实习证明/实习鉴定报告，企业项目试岗实训开营啦

可提供实习证明/实习鉴定报告，企业项目试岗实训开营啦

在数字化转型的浪潮中&#xff0c;大数据和人工智能等前沿技术已成为推动经济发展和科技进步的关键动力。当前&#xff0c;全球各行各业都在积极推进数字化转型&#xff0c;不仅为经济增长注入新活力&#xff0c;也对人才市场结构产生了深刻影响&#xff0c;尤其是对数字化人才…
阅读更多...
在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

作者简介&#xff1a;金津&#xff0c;智领云高级研发经理&#xff0c;华中科技大学计算机系硕士。加入智领云 8 余年&#xff0c;长期从事云原生、容器化编排领域研发工作&#xff0c;主导了智领云自研的 BDOS 应用云平台、云原生大数据平台 KDP 等产品的开发&#xff0c;并在…
阅读更多...
联邦学习周记｜第四周

联邦学习周记｜第四周

论文&#xff1a;Active Federated Learning 链接 将主动学习引入FL&#xff0c;每次随机抽几个Client拿来train&#xff0c;把置信值低的Client概率调大&#xff0c;就能少跑几次。 论文&#xff1a;Active learning based federated learning for waste and natural disast…
阅读更多...
“Git之道：掌握常用命令，轻松管理代码“

“Git之道：掌握常用命令，轻松管理代码“

目录 1. 初始化和配置 2. 提交和更新 3. 分支和合并 4. 查看和比较 5. 远程仓库 6. 文件操作命令 1. 初始化和配置 git init&#xff1a;在当前目录初始化一个新的Git仓库git config&#xff1a;配置Git的全局或局部选项git clone&#xff1a;从远程仓库克隆一个本地副本…
阅读更多...
vue3第四十节（pinia的用法注意事项解构store）

vue3第四十节（pinia的用法注意事项解构store）

pinia 主要包括以下五部分&#xff0c;经常用到的是 store、state、getters、actions 以下使用说明&#xff0c;注意事项&#xff0c;仅限于 vue3 setup 语法糖中使用&#xff0c;若使用选项式 API 请直接查看官方文档&#xff1a; 一、前言&#xff1a; pinia 是为了探索 vu…
阅读更多...
动手学深度学习（Pytorch版）代码实践 -深度学习基础-11暂退法Dropout

动手学深度学习（Pytorch版）代码实践 -深度学习基础-11暂退法Dropout

11暂退法Dropout #Dropout 是一种正则化技术&#xff0c;主要用于防止过拟合&#xff0c; #通过在训练过程中随机丢弃神经元来提高模型的泛化能力。 import torch from torch import nn from d2l import torch as d2l import liliPytorch as lpdef dropout_layer(X, dropout):…
阅读更多...
大数据—“西游记“全集文本数据挖掘分析实战教程

大数据—“西游记“全集文本数据挖掘分析实战教程

项目背景介绍 四大名著&#xff0c;又称四大小说&#xff0c;是汉语文学中经典作品。这四部著作历久不衰&#xff0c;其中的故事、场景&#xff0c;已经深深地影响了国人的思想观念、价值取向。四部著作都有很高的艺术水平&#xff0c;细致的刻画和所蕴含的思想都为历代读者所…
阅读更多...
0元体验苹果macOS系统，最简单的虚拟机部署macOS教程

0元体验苹果macOS系统，最简单的虚拟机部署macOS教程

前言 最近发现小伙伴热衷于在VMware上安装体验macOS系统&#xff0c;所以就有了今天的帖子。 正文开始 首先&#xff0c;鉴于小伙伴们热衷macOS&#xff0c;所以小白搜罗了一圈macOS系统&#xff0c;并开启了分享通道。 本次更新的系统版本是&#xff1a; macOS 10.13.6 ma…
阅读更多...
【靶场搭建】-01- 在kali上搭建DVWA靶机

【靶场搭建】-01- 在kali上搭建DVWA靶机

1.DVWA靶机 DVWA&#xff08;Damn Vulnerable Web Application&#xff09;是使用PHPMysql编写的web安全测试框架&#xff0c;主要用于安全人员在一个合法的环境中测试技能和工具。 2.下载DVWA 从GitHub上将DVWA的源码clone到kali上 git clone https://github.com/digininj…
阅读更多...
温湿度采集与OLED显示

温湿度采集与OLED显示

目录 一、什么是软件I2C 二、什么是硬件I2C 三、STM32CubeMX配置 1、RCC配置 2、SYS配置 3、I2C1配置 3、I2C2配置 4、USART1配置 5、TIM1配置 6、时钟树配置 7、工程配置 四、设备链接 1、OLED连接 2、串口连接 3、温湿度传感器连接 五、每隔2秒钟采集一次温湿…
阅读更多...
第二十三篇——香农第二定律(二)：到底要不要扁平化管理？

第二十三篇——香农第二定律(二)：到底要不要扁平化管理？

目录 一、背景介绍二、思路&方案三、过程1.思维导图2.文章中经典的句子理解3.学习之后对于投资市场的理解4.通过这篇文章结合我知道的东西我能想到什么&#xff1f; 四、总结五、升华 一、背景介绍 对于企业的理解&#xff0c;扁平化的管理&#xff0c;如果从香农第二定律…
阅读更多...
Qt 实战（5）布局管理器 | 5.2、深入解析Qt布局管理器

Qt 实战（5）布局管理器 | 5.2、深入解析Qt布局管理器

文章目录 一、深入解析Qt布局管理器1、为什么要使用布局管理器&#xff1f;2、布局管理器类型3、布局管理器用法详解3.1、QBoxLayout&#xff08;垂直与水平布局&#xff09;3.2、QGridLayout&#xff08;网格布局&#xff09;3.3、QFormLayout&#xff08;表单布局&#xff09…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023