Redis和MySQL如何保持数据一致性

前言

在高并发的场景下,大量的请求直接访问Mysql很容易造成性能问题。所以,我们都会用Redis来做数据的缓存,削减对数据库的请求。但是,Mysql和Redis是两种不同的数据库,如何保证不同数据库之间数据的一致性就非常关键了。

1.数据不一致的原因

1.1导致数据不一致的原因

  • 在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。

  • 所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。

  • 读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。

  • 这个业务场景,主要是解决读数据从Redis缓存,一般都是按照下图的流程来进行业务操作。

图片

1.2 缓存先后删除问题

不管是先写MySQL数据库,再删除Redis缓存;还是先删除缓存,再写库,都有可能出现数据不一致的情况。

2.1 先删除缓存

  • 如果先删除Redis缓存数据,然而还没有来得及写入MySQL,另一个线程就来读取

  • 这个时候发现缓存为空,则去Mysql数据库中读取旧数据写入缓存,此时缓存中为脏数据。

  • 然后数据库更新后发现Redis和Mysql出现了数据不一致的问题

2.2 后删除缓存

  • 如果先写了库,然后再删除缓存,不幸的写库的线程挂了,导致了缓存没有删除

  • 这个时候就会直接读取旧缓存,最终也导致了数据不一致情况

  • 因为写和读是并发的,没法保证顺序,就会出现缓存和数据库的数据不一致的问题

2.解决方案

2.1 延时双删策略

2.1.1 基本思路

  • 在写库前后都进行redis.del(key)操作,并且设定合理的超时时间。

  • 伪代码如下:

public void write( String key, Object data ){redis.delKey( key );db.updateData( data ); Thread.sleep( 500 ); redis.delKey( key );}

2.1.2 具体步骤

  • 1.先删除缓存

  • 2.再写数据库

  • 3.休眠500毫秒

  • 4.再次删除缓存

问题:这个500毫秒怎么确定的,具体该休眠多久时间呢?

  • 需要评估自己的项目的读数据业务逻辑的耗时。

  • 这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。

  • 当然这种策略还要考虑redis和数据库主从同步的耗时。

  • 最后的写数据的休眠时间:则在读数据业务逻辑的耗时基础上,加几百ms即可。比如:休眠1秒。

2.1.3 设置缓存过期时间是关键点

  • 从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案

  • 所有的写操作以数据库为准,只要到达缓存过期时间,缓存删除

  • 如果后面还有读请求的话,就会从数据库中读取新值然后回填缓存

2.1.4 方案缺点

结合双删策略+缓存超时设置,这样最差的情况就是:

  • 在缓存过期时间内发生数据存在不一致

  • 同时又增加了写请求的耗时。

2.2 异步更新缓存(基于Mysql binlog的同步机制)

2.2.1 整体思路

  • 1.涉及到更新的数据操作,利用Mysql binlog 进行增量订阅消费

  • 2.将消息发送到消息队列

  • 3.通过消息队列消费将增量数据更新到Redis上

  • 4.操作情况

  • 读取Redis缓存:热数据都在Redis上

  • 写Mysql:增删改都是在Mysql进行操作

  • 更新Redis数据:Mysql的数据操作都记录到binlog,通过消息队列及时更新到Redis上

2.2.2 Redis更新过程

(1) 数据操作主要分为两种:

  • 一种是全量(将所有数据一次性写入Redis)

  • 一种是增量(实时更新)

这里说的是增量,指的是mysql的update、insert、delate变更数据。

(2)读取binlog后分析 ,利用消息队列,推送更新各台的redis缓存数据。

  • 这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis

  • Redis再根据binlog中的记录,对Redis进行更新

  • 其实这种机制,很类似MySQL的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性

这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis!

3.总结

在高并发应用场景下,如果是对数据一致性要求高的情况下,要定位好导致数据和缓存不一致的原因。

解决高并发场景下数据一致性的方案有两种,分别是延时双删策略和异步更新缓存两种方案。

另外,设置缓存的过期时间是保证数据保持一致性的关键操作,需要结合业务进行合理的设置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/630401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【封装一个日志库(linux)】【转载】

原文链接: 工具库1:封装一个日志库(linux)-CSDN博客 一、,需求 (1)封装一个c/c日志库,提供格式打印接口,编写程序代码时方便使用; (2) 格式打印…

Mybatis----面向接口

让mybatis自动生成dao层接口的实现类 这是dao层接口的实现类,在mybatis中我们可以省略这种实现接口的方式,直接面向接口操作数据库,mybatis可以帮我们自动生成接口的实现类,也就是下面这个实现类mybatis帮我们生成了。 1、修改se…

检测射线与边界盒AABB相交(C#代码Unity环境下测试通过)

说明:如果仅仅是再Unity环境下使用的话,直接使用Bounds.IntersectRay方法就好了,这里仅仅探索其算法。 上代码: bool RayCrossBounds(Ray ray, Bounds bounds) {if (bounds.Contains(ray.origin)) return true;//float tMinX fl…

P3952 [NOIP2017 提高组] 时间复杂度————C++

目录 [NOIP2017 提高组] 时间复杂度题目背景题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示 解题思路Code运行结果 [NOIP2017 提高组] 时间复杂度 题目背景 NOIP2017 提高组 D1T2 题目描述 小明正在学习一种新的编程语言 A,刚学会循环语句的他激动…

openssl3.2 - 官方demo学习 - guide - tls-client-block.c

文章目录 openssl3.2 - 官方demo学习 - guide - tls-client-block.c概述记录问题server和client IP都为localhostserver和client IP都为127.0.0.1想到解决问题的方法1想到解决问题的方法2笔记END openssl3.2 - 官方demo学习 - guide - tls-client-block.c 概述 tls 客户端 官…

QT5构建套件检测不到MSVC2017解决方法

文章目录 前言一、本地环境二、现象三、解决办法 前言 记录一下 QT5 构建套件检测不到 MSVC2017 解决方法 。Qt Creator MSVC开发环境搭建(Qt Creator 集成工具 MSVC编译) 一、本地环境 电脑操作系统:Win11Qt 版本:Qt 5.14.2 …

linux基础学习(2):磁盘管理、分区、格式化

1.一些基本概念 一块磁盘从加入到可使用,需要经过3个阶段:分区-格式化-挂载。 1.1分区方式 linux有2种分区方式: (1)mbr:最大支持2.1T硬盘,最多支持4个分区。这4个分区可以全部为主分区&…

77、avx2 向量寄存器介绍

本节带大家简单了解下计算机内的存储器,了解了存储器之后,对于后面的优化就会有更深刻的认识。 我们最熟悉的存储器就是电脑的内存,或者硬盘。在计算机系统中,我们可以把所有可以存储数据的部件都叫做存储器。 只不过很多是用户可见并熟悉的,如硬盘和内存条,GPU 的显存…

【elementUI】el-select相关问题

官方使用DEMO <template><el-select v-model"value" placeholder"请选择"><el-optionv-for"item in options":key"item.value":label"item.label":value"item.value"></el-option></…

鸿蒙开发笔记(三):页面和自定义组件生命周期

先明确自定义组件和页面的关系&#xff1a; 自定义组件&#xff1a;Component装饰的UI单元&#xff0c;可以组合多个系统组件实现UI的复用。 页面&#xff1a;即应用的UI页面。可以由一个或者多个自定义组件组成&#xff0c;Entry装饰的自定义组件为页面的入口组件&#xff0c…

QEMU与KVM基本概述

一些术语 汇总在虚拟化世界里经常会涉及到的术语或缩写等。 术语含义VMVirtual Machine&#xff0c;虚拟机VMM在系统虚拟化中&#xff0c;管理全局物理资源的软件叫作虚拟机监控器&#xff08;Virtual MachineMonitor&#xff0c;VMM&#xff09;&#xff0c;VMM之于虚拟机就…

一篇文章掌握WebService服务、工作原理、核心组件、主流框架

目录 1、WebService定义 解决问题&#xff1a; 2、WebService的工作原理 2.1 实现一个完整的Web服务包括以下步骤 2.2 调用方式 3、Web Service的核心组件 3.1 XML 3.2 SOAP 3.3 WSDL 3.4 UDDI 4、主流框架 4.1 AXIS(已淘汰) 4.2 XFire 4.3 CXF 5、Soap协议详解…

从DETR到Mask2former(2): 损失函数loss function

DETR的损失函数包括几个部分&#xff0c;如果只看论文或者代码&#xff0c;比较难理解&#xff0c;最好是可以打断点调试&#xff0c;对照着论文看。但是现在DETR模型都已经被集成进各种框架中&#xff0c;很难进入内部打断掉调试。与此同时&#xff0c;数据的label的前处理也比…

《动手学深度学习》学习笔记 第8章 循环神经网络

本系列为《动手学深度学习》学习笔记 书籍链接&#xff1a;动手学深度学习 笔记是从第四章开始&#xff0c;前面三章为基础知识&#xff0c;有需要的可以自己去看看 关于本系列笔记&#xff1a; 书里为了让读者更好的理解&#xff0c;有大篇幅的描述性的文字&#xff0c;内容很…

Vue3中动态组件使用

一&#xff0c;动态组件使用&#xff1a; 应用场景&#xff1a;动态绑定或切换组件 应用Vue3碎片&#xff1a; is 1.使用 a.组件A <div class"layout-base"><Button>红茶</Button> </div>a.组件B <div class"layout-base"&g…

python基础教程九 抽象一(函数初步)

1. 懒惰是种美德 前面编写的程序都很小&#xff0c;但如果要编写大型程序&#xff0c;你很快会遇到麻烦。想想看&#xff0c;如果你在一个地方编写了一些代码&#xff0c;但需要在另一个地方再次使用&#xff0c;该如何办?例如&#xff0c;假设你编写了一段代码&#xff0c;他…

Linux 常用的一些命令

目录 一、常用文件管理命令二、tmux 和 vimtmuxvim 三、[Shell语法](https://blog.csdn.net/weixin_43288201/article/details/105643692)四、git五、sshReference 一、常用文件管理命令 (1) ctrl c: 取消命令&#xff0c;并且换行 (2) ctrl u: 清空本行命令 (3) tab键&#x…

【MATLAB】SVMD_LSTM神经网络时序预测算法

有意向获取代码&#xff0c;请转文末观看代码获取方式~也可转原文链接获取~ 1 基本定义 SVMD-LSTM神经网络时序预测算法是一种结合了单变量经验模态分解&#xff08;Singular Value Decomposition&#xff0c;SVD&#xff09;和长短期记忆神经网络&#xff08;LSTM&#xff09…

前端基础:回顾es6相关知识

Author note(题记)&#xff1a; ECMAscript is international standard of javascript。 ECMA 是 js的国际标准版语言。 let and const 为什么之前用var现在需要用let&#xff0c;const呢&#xff1f; 其实就是因为规范作用域的问题。var的作用域无块级 for (var i 0; i <…

第二百七十二回

文章目录 1. 概念介绍2. 方法与类型2.1 使用方法2.2 常见类型 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何加载本地图片"相关的内容&#xff0c;本章回中将介绍如何获取文件类型.闲话休提&#xff0c;让我们一起Talk Flutter吧。 1. 概念介绍 我们在本章回…