Redis-缓存一致性

缓存双写一致性

更新策略探讨

面试题

缓存设计要求

缓存分类：

  • 只读缓存：（脚本批量写入，canal 等）
  • 读写缓存
    • 同步直写：vip数据等即时数据
    • 异步缓写：允许延时（仓库，物流），异常出现，有可能需要使用 kafka, rabbitmq 进行弥补，重试重写
双检加锁

如果 qps 过高，会打高 mysql

数据库和缓存更新的几种策略

=》实现最终一致性

可以停机->单线程操作

四种更新策略

先更新数据库，再更新缓存

异常问题1->最后更新redis异常，出现脏数据

异常问题2->多线程更新快慢问题，无法保证第二步写redis的顺序

先更新缓存，再更新数据库
业务上，mysql是底单数据
仍然是多线程更新的问题

自己的理解，只要是写缓存的方式，都会存在线程写入先后导致的数据不一致

先删除缓存，再更新数据库

第一个进来的线程当数据库写未提交或者其他异常情况的时候，仍然可能存在脏数据问题，因为无法保证缓存会被一定及时删除，可能中途被其他线程回写，这段要自己脑子里跑一遍，延迟双删来确保旧的缓存会被删除掉

读缓存会写入旧数据

延时双删

先更新数据库，再删除缓存->主流

存在问题->没来得及更新完缓存，会读取到旧值，但伤害较小

只要涉及到数据库和缓存的双写，百分百存在一致性问题

如何实现最终一致性

只能实现最终一致性

如何取舍&总结

双写一致性落地案例

监听 binlog

mysql -> canal -> redis

Home

canal 选择版本 1.6.1

mysql: 5.7 docker环境安装

1.mysql 准备

docker run -d -p 3306:3306 --privileged=true -v /root/mysql/log:/var/log/mysql -v /root/mysql/data:/var/lib/mysql -v /root/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456  --name mysql mysql:5.7docker exec -it e8b72b11df2a /bin/bash    //e8b72b11df2a 就是容器idmysql -uroot -p        // 密码 123456# 查看是否开启 binlog
SHOW VARIABLES LIKE 'log_bin';# 添加 canal 操作账号
DROP USER IF EXISTS 'canal'@'%';
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';  
GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';  
FLUSH PRIVILEGES;SELECT * FROM mysql.user;# 创建一张表
CREATE TABLE `t_user` 
( 
`id` BIGINT ( 20 ) NOT NULL AUTO_INCREMENT, 
`userName` VARCHAR ( 100 ) NOT NULL, 
PRIMARY KEY ( `id` ) 
) 
ENGINE = INNODB AUTO_INCREMENT = 10 DEFAULT CHARSET = utf8mb4
2.canal 准备

下载 canal.deployer-1.1.6.tar.gz

修改配置文件

canal.instance.master.address=xxx:xxx:xxx:xxx:3306# username/password (如果配置的是 canal/canal 则默认无需修改)
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

./bin/startup.sh

查看启动日志，检查运行状态

3.编写 canal-client

<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.7.10</version><relativePath/> <!-- lookup parent from repository --></parent><dependencies><!--canal--><dependency><groupId>com.alibaba.otter</groupId><artifactId>canal.client</artifactId><version>1.1.0</version></dependency><!--SpringBoot与Redis整合依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.26</version></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build>

配置文件(请按需修改)

server:port: 5555spring:redis:database: 0host: 127.0.0.1port: 6379
#    password: 123456

config 文件和 springboot 案例中一致

@Configuration
public class RedisConfig {@Beanpublic RedisTemplate<String, Object> redisTemplate(LettuceConnectionFactory lettuceConnectionFactory) {RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();redisTemplate.setConnectionFactory(lettuceConnectionFactory);// 设置key的序列化方式stringredisTemplate.setKeySerializer(new StringRedisSerializer());// 设置value的序列化方式jsonredisTemplate.setValueSerializer(new GenericJackson2JsonRedisSerializer());// 设置hash的key的序列化方式stringredisTemplate.setHashKeySerializer(new StringRedisSerializer());// 设置hash的value的序列化方式jsonredisTemplate.setHashValueSerializer(new GenericJackson2JsonRedisSerializer());redisTemplate.afterPropertiesSet();return redisTemplate;}
}

biz 操作封装

@Component
public class RedisCanalClient {@ResourceRedisTemplate redisTemplate;/*** 读取 canal 数据写入redis* @param columns 行*/public void redisInsert(List<CanalEntry.Column> columns) {JSONObject jsonObject = new JSONObject();for (CanalEntry.Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "  update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size()>0) {redisTemplate.opsForValue().set(columns.get(0).getValue(), jsonObject.toJSONString());}}/*** 读取 canal 数据删除 redis 行* @param columns 行*/public void redisDelete(List<CanalEntry.Column> columns) {JSONObject jsonObject = new JSONObject();for (CanalEntry.Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "  update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size()>0) {redisTemplate.delete(columns.get(0).getValue());}}/*** 读取 canal 数据修改 redis 行* @param columns 行*/public void redisUpdate(List<CanalEntry.Column> columns) {JSONObject jsonObject = new JSONObject();for (CanalEntry.Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "  update=" + column.getUpdated());jsonObject.put(column.getName(), column.getValue());}if (columns.size()>0) {redisTemplate.opsForValue().set(columns.get(0).getValue(), jsonObject.toJSONString());System.out.println("----------------update after: " + redisTemplate.opsForValue().get(columns.get(0).getValue()));}}/*** 读取 canal 数据并操作* @param entrys 行*/public void printEntry(List<CanalEntry.Entry> entrys) {for (CanalEntry.Entry entry : entrys) {if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {continue;}CanalEntry.RowChange rowChage = null;try {rowChage = CanalEntry.RowChange.parseFrom(entry.getStoreValue());} catch (Exception e) {throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),e);}CanalEntry.EventType eventType = rowChage.getEventType();System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),eventType));for (CanalEntry.RowData rowData : rowChage.getRowDatasList()) {if (eventType == CanalEntry.EventType.DELETE) {redisDelete(rowData.getBeforeColumnsList());} else if (eventType == CanalEntry.EventType.INSERT) {redisInsert(rowData.getAfterColumnsList());} else {redisUpdate(rowData.getAfterColumnsList());}}}}}

test 测试类

@SpringBootTest
public class CanalClientTest {public static final Integer _60SECONDS = 60;@ResourceRedisCanalClient redisCanalClient;/*** 测试 canal client 监听 server 实现 mysql -> redis*/@Testpublic void startClient() {System.out.println("--------------initCanal main()方法------------");// ======================================================================================CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), // canal server 地址"example","","");int batchSize = 1000;int emptyCount = 0;System.out.println("---------------------canal init OK，开始监听mysql变化------");try {connector.connect();
//            connector.subscribe(".*\\..*");// 设置监听的表connector.subscribe("canal.t_user");connector.rollback();int totalEmptyCount = 10 * _60SECONDS;while (emptyCount < totalEmptyCount) {System.out.println("我是 canal, 每秒一次正在监听: " + UUID.randomUUID().toString());Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;System.out.println("empty count : " + emptyCount);try {Thread.sleep(1000);} catch (InterruptedException e) {}} else {// 计数器置0emptyCount = 0;// System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);redisCanalClient.printEntry(message.getEntries());}connector.ack(batchId); // 提交确认// connector.rollback(batchId); // 处理失败, 回滚数据}System.out.println("已经监听了"+totalEmptyCount+"秒，无任何消息，请重启重试");} finally {connector.disconnect();}}
}

启动测试类

4.测试
  • 测试新增

手动添加一条记录 id: 7 name:666

查看 redis

  • 测试修改

修改mysql id:7 的 name 为 777

  • 测试删除

删除 id:7 的这条数据

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/56170.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C++: AVL树的实现

C++: AVL树的实现

一.AVL树的旋转 AVL树是平衡搜索二叉树的一种。 平衡因子&#xff1a;节点右树的高度减左树的高度&#xff0c;AVL树规定平衡因子的绝对值小于2。若不在这个范围内&#xff0c;说明该树不平衡。 AVL树节点&#xff1a; struct AVLTreeNode {AVLTreeNode(const T& data …
阅读更多...
数据结构--堆的深度解析

数据结构--堆的深度解析

目录 引言 一、基本概念 1.1堆的概念 1.2堆的存储结构 1.3堆的特点 二、 堆的基本操作 2.1初始化 2.2创建堆 2.3插入元素 2.4删除元素 2.5堆化操作 2.6堆的判空 2.7获取堆顶元素 三、堆的常见应用 1. 优先队列 2. 堆排序 3. Top-k 问题 4. 图论中的应用 四…
阅读更多...
rom定制系列------小米5x_miui12安卓11定制固件界面预览 小米5x第三方固件

rom定制系列------小米5x_miui12安卓11定制固件界面预览 小米5x第三方固件

&#x1f49d;&#x1f49d;&#x1f49d;此固件来源于客户卡刷固件定制。客户需要修改为线刷。并且修改账号锁功能。 可以让客户使用官方平台批量进行刷写。方便操作。 定制机型以及功能预览&#x1f49d;&#x1f49d;&#x1f49d; 小米5x版本miui12.5.8安卓11固件。此机型…
阅读更多...
中国网络隐私保护：机遇与挑战并存的未来

中国网络隐私保护：机遇与挑战并存的未来

随着数字经济的蓬勃发展&#xff0c;中国已进入大数据和互联网高速发展的时代。伴随而来的&#xff0c;是公众对网络隐私保护的强烈需求。从电子支付到社交平台&#xff0c;从智能家居到人脸识别&#xff0c;网络数据正在全面渗透到人们生活的方方面面。然而&#xff0c;数据隐…
阅读更多...
MySQL 连接

MySQL 连接

使用MySQL二进制方式连接 使用MySQL二进制方式进入到MySQL命令提示符下来连接MySQL数据库。 实例 以下是从命令行中连接MySQL服务器的简单实例&#xff1a; [roothost]# mysql -u root -p Enter password:******在登录成功后会出现 mysql> 命令提示窗口&#xff0c;你可以在…
阅读更多...
建造者模式（C++）

建造者模式（C++）

定义&#xff1a;建造者模式&#xff08;Builder Pattern&#xff09;是一种创建型设计模式&#xff0c;它主要用于构建一个复杂对象&#xff0c;并将其构建过程与表示分离&#xff0c;使得同样的构建过程可以创建不同的表示。该模式通过将复杂对象的构建过程分解为多个简单的步…
阅读更多...
安装雷池社区版，保护网站安全

安装雷池社区版，保护网站安全

环境依赖 安装雷池前请确保你的系统环境符合以下要求 操作系统&#xff1a;LinuxCPU 指令架构&#xff1a;x86_64CPU 指令架构&#xff1a;支持 ssse3 指令集软件依赖&#xff1a;Docker 20.10.14 版本以上软件依赖&#xff1a;Docker Compose 2.0.0 版本以上最低资源需求&am…
阅读更多...
Linux NFS 服务器 搭建

Linux NFS 服务器 搭建

1、安装 NFS 确保Linux联网 sudo apt-get install nfs-kernel-server 2、创建一个目录&#xff0c;并在该文件下创建一个文件&#xff0c;用于测试nfs。 sudo mkdir /nfssudo mkdir /nfs/rootfscd /nfs/rootfs/sudo vim test.txt在里面随便加点内容 esc :wq 保存退出就可以了 …
阅读更多...
Java 文件拷贝

Java 文件拷贝

1.小文件拷贝 实例代码&#xff1a; 上面程序运行的图示&#xff1a; 弊端&#xff1a;一次读一个字节&#xff0c;效率太慢。所以需要一次读取多个字节。 2.大文件拷贝 结果&#xff1a;
阅读更多...
云原生开发 - 监控（简约版）

云原生开发 - 监控（简约版）

要在程序中暴露指标&#xff0c;并符合 Prometheus 和 Kubernetes 的规范&#xff0c;可以按照以下步骤进行&#xff1a; 1. 选择合适的库 根据你的编程语言选择适合的 Prometheus 客户端库。例如&#xff1a; Go: github.com/prometheus/client_golangJava: io.prometheus:…
阅读更多...
UE5运行时动态加载场景角色动画任意搭配-全流程代码（四）

UE5运行时动态加载场景角色动画任意搭配-全流程代码（四）

UE5运行时动态加载场景、角色、角色动画、相机动画任意搭配，Android、iOS也可以跑，横竖屏兼容，手机竖屏： 1、场景切换UWorld处理 在通过OpenLevel进行场景切换的时候，UWorld会发生变化，需要我们获取正确的UWorld。 1、在GameInstance监听Level加载 void UMyGameInsta…
阅读更多...
数据结构——复杂度

数据结构——复杂度

目录 数据结构前言 数据结构 算法 算法效率 时间复杂度 大O的渐进表示法 示例1 示例2 示例3 示例4 示例5 示例6 示例7 空间复杂度 示例1 示例2 示例3 示例4 常见复杂度对比 旋转数组 优化1 优化2 这一篇文章我们就开始数据结构知识的学习&#xff01; 数据…
阅读更多...
stm32单片机个人学习笔记10（TIM编码器接口）

stm32单片机个人学习笔记10（TIM编码器接口）

前言 本篇文章属于stm32单片机&#xff08;以下简称单片机&#xff09;的学习笔记&#xff0c;来源于B站教学视频。下面是这位up主的视频链接。本文为个人学习笔记&#xff0c;只能做参考&#xff0c;细节方面建议观看视频&#xff0c;肯定受益匪浅。 STM32入门教程-2023版 细…
阅读更多...
Jetpack-Room

Jetpack-Room

Room是Android Jetpack中的一个组件&#xff0c;它提供了一个抽象层&#xff0c;帮助开发者在本地数据库&#xff08;如SQLite&#xff09;上进行持久化数据存储。Room通过简化数据库操作&#xff0c;使得数据管理变得更加容易和高效。 Room重要的概念 实体&#xff08;Entit…
阅读更多...
R知识图谱1—tidyverse玩转数据处理120题

R知识图谱1—tidyverse玩转数据处理120题

以下是本人依据张老师提供的tidyverse题库自行刷题后的tidyverse Rmd文件&#xff0c;部分解法参考张老师提示&#xff0c;部分解法我本人灵感提供 数据下载来源https://github.com/zhjx19/tidyverse120/tree/main/data 参考https://github.com/MaybeBio/R_cheatsheet/tree/mai…
阅读更多...
Python即时获取上证指数信息并发送邮件到指定邮箱

Python即时获取上证指数信息并发送邮件到指定邮箱

最近股市振荡&#xff0c;股民会时不时查看一下上证指数信息&#xff0c;但是繁忙的工作却时不是让人忘记了&#xff0c;错过了投资的最佳时机&#xff0c;这时就可以通过Python来爬取网站上的上证指数&#xff0c;并发送到指定的邮箱&#xff0c;这样就不用上指定网页也以获取…
阅读更多...
2024最新分别利用sklearn和Numpy实现c均值对鸢尾花数据集进行聚类（附完整代码和注释）

2024最新分别利用sklearn和Numpy实现c均值对鸢尾花数据集进行聚类（附完整代码和注释）

C均值聚类算法&#xff08;K-Means Clustering&#xff09;是一种非常流行的聚类算法&#xff0c;用于将数据点分成多个簇&#xff0c;使得簇内的点尽可能相似&#xff0c;簇间的点尽可能不同。以下是K-Means算法的基本步骤&#xff1a; 1. 初始化&#xff1a;随机选择K个点作…
阅读更多...
网络断开导致SSH会话和服务端任务终止的原因及使用screen详解

网络断开导致SSH会话和服务端任务终止的原因及使用screen详解

在进行深度学习任务时&#xff0c;常常在本地通过ssh连接远程服务器进行炼丹任务。当我在pycharm上远程连接到服务器上进行训练时&#xff0c;由于网络不稳定使得SSH断开连接&#xff0c;我原以为服务器不会受影响。通过nvidia-smi命令发现GPU占用为0&#xff0c;这才发现任务终…
阅读更多...
稀土阻燃协效剂 - 阻燃

稀土阻燃协效剂 - 阻燃

金士镧稀土阻燃协效剂的技术衬垫&#xff1a; 金士镧KingCela 稀土阻燃协效剂KCL-FR-06xx系列产品&#xff0c;凭借独特的稀土4f电子层结构, 可协效磷氮阻燃剂&#xff0c;卤系阻燃剂阻燃剂在高分子材料&#xff08;橡胶&#xff0c;塑料&#xff0c;涂层&#xff0c;胶黏剂&a…
阅读更多...
『网络游戏』服务器启动逻辑【16】

『网络游戏』服务器启动逻辑【16】

新建Visual Studio工程命名为NetGameServer 重命名为ServerStart.cs 创建脚本&#xff1a; 编写脚本&#xff1a;ServerRoot.cs 编写脚本&#xff1a;ServerStart.cs 新建文件夹 调整脚本位置 新建文件夹 新建文件夹网络服务 创建脚本&#xff1a;NetSvc.cs 编写脚本&#xff1…
阅读更多...
最新文章

Copyright @ 2022~2023