缓存和数据库一致性问题分析

目录

1、数据不一致的原因

1.1 并发操作

1.2 非原子操作

1.3 数据库主从同步延迟

2、数据不一致的解决方案

2.1 并发操作

2.2 非原子操作

2.3 主从同步延迟

2.4 最终方案

3、不同场景下的特殊考虑

3.1 读多写少的场景

3.2 读少写多的场景


1、数据不一致的原因

导致缓存和数据库数据不一致的原因有三个

  • 并发操作
  • 非原子操作
  • 数据库主从同步延迟

1.1 并发操作

假设数据库的原数据为x=0,考虑两种并发情况

  • 两个线程同时写入
  • 一个线程读,一个线程写

有以下4种方案

  • 先更新缓存,后更新数据库
  • 先更新数据库,后更新缓存
  • 先删除缓存,再更新数据库
  • 先更新数据库,再删除缓存

(1)先更新缓存,后更新数据库

两个线程同时写入

  • A更新缓存,x=1
  • B更新缓存,x=2
  • B更新数据库,x=2
  • A更新数据库,x=1

最终缓存为2,数据库为1

一个线程读,一个线程写

  • A读取缓存发现没有命中,于是读取数据库,得到x=0
  • B更新缓存,x=1
  • B更新数据库,x=1
  • A更新缓存,x=0

最终缓存为0,数据库为1

这种情况发生的概率极小,需要同时满足几个条件

  • 第一,缓存不存在
  • 第二,A的更新缓存命令 后于 B的更新缓存命令(基本不可能发生)
  • 第三,A读取数据库+更新缓存的时间 > B更新缓存+B更新数据库的时间(基本不可能发生,因为写数据库的耗时大概率是比读数据库慢)

(2)先更新数据库,后更新缓存

两个线程同时写入

  • A更新数据库,x=2
  • B更新数据库,x=1
  • B更新缓存,x=1
  • A更新缓存,x=2

最终缓存为2,数据库为1

一个线程读,一个线程写

  • A读取缓存发现没有命中,于是读取数据库,得到x=0
  • B更新数据库,x=1
  • B更新缓存,x=1
  • A更新缓存,x=0

最终缓存为0,数据库为1

这种情况发生的概率也是极小,跟方案2的发生条件一样。

(3)先删除缓存,再更新数据库

两个线程同时写入

由于是删除缓存,多线程同时更新的话,缓存都是会被删除,没有讨论意义

一个线程读,一个线程写

  • A读取缓存发现没有命中,于是读取数据库,得到x=0
  • B删除缓存
  • A更新缓存,x=0
  • B更新数据库,x=1

最终,缓存是0,数据库是1

(4)先更新数据库,再删除缓存

两个线程同时写入

由于是删除缓存,多线程同时更新的话,缓存都是会被删除,没有讨论意义

一个线程读,一个线程写

  • A读取缓存发现没有命中,于是读取数据库,得到x=0
  • B更新数据库,x=1
  • B删除缓存
  • A更新缓存,x=0

最终,缓存是0,数据库是1

这种情况发生的概率也是极小,需要同时满足几个条件

  • 第一,缓存不存在
  • 第二,B更新数据库+删除缓存的时间 < A读取数据库+更新缓存的时间 (基本不可能发生,因为写数据库的耗时大概率是比读数据库慢)

1.2 非原子操作

非原子操作很好理解,就是因为操作缓存和操作数据库是两步操作,所以当第二步操作失败时,就会导致数据不一致问题。

1.3 数据库主从同步延迟

以上都只考虑了单机数据库的情况,对于主从数据库还有另一个问题,就是主从同步延迟

考虑以下情况

一个往主库写入,一个从从库读取

  • A更新主库,x=1
  • A删除缓存
  • B查询缓存没有命中,查询从库,得到x=0
  • 从库同步主库,更新为x=1
  • B更新缓存,x=0

最终,缓存是0,数据库是1

2、数据不一致的解决方案

2.1 并发操作

根据1.1的几种方案,『先更新数据库,再删除缓存』是最好的。

2.2 非原子操作

最简单的解决办法就是重试,但是重试也要考虑一些问题:

  • 立即重试的话大概率会失败;
  • 重试次数设置多少比较合适;
  • 同步重试会一直占用资源;
  • 重试的过程中服务重启,会导致重试的操作消失,数据会一直不一致

所以就能想到异步重试方法,也就是把重试的这个操作写入到消息队列里,由另一个线程专门来处理重试的操作,而且消息队列本身可以保证消息不丢失(不丢失有两个方面,一是消息持久化,二是只有正确被消费掉了才会删除)

除了消息队列这中异步重试方案外,业界还有一种监听数据库bin log的方式,监听到变化后再去操作缓存,但是这种会额外引入其他的中间件而且实现复杂,综合而言没有消息队列的方案好用。

2.3 主从同步延迟

主从同步延迟的解决方案也很明显,就是延迟删除缓存,但是延迟多久再执行删除呢?这个就要靠经验了,一般来说1~5秒不等,看具体业务

所以在之前方案的基础上,引入延迟删除可以解决主从同步延迟的问题。

2.4 最终方案

1)更新数据库

2)删除缓存

3)如果删除失败则额外写入一条重试删除命令到消息队列

4)最后写入一个延迟删除命令到消息队列

3、不同场景下的特殊考虑

3.1 读多写少的场景

这种场景下,redis的作用是为了减轻数据库读取压力、加速读取,往往能接受一定的数据延迟,即保证最终一致性即可。

  • 读多,所以删除缓存操作会导致缓存穿透问题(key不存在,大量请求命中数据库)
  • 写少,所以基本不存在并发写入的问题,但是会存在并发读取和写入的问题

所以,读多写少的场景下,方案3和4是容易出现大问题的。

方案1和方案2是相对能接受的,但是也会有一定概率存在并发写入导致数据不一致的问题。

此时我们可以通过给缓存设置过期时间,使得数据保证最终一致性。

3.2 读少写多的场景

这种场景下,redis的作用是为了减轻数据库写入压力,对数据的一致性要求较高。

  • 读少,所以并发读取和写入的情况比较少
  • 写多,所以并发写入的情况比较多

由于并发写入情况比较多,此时方案3和4比较好,根据上文的分析,方案4比方案3更好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/14461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解C语言中的字符指针初始化与用法

字符指针初始化 - C 语言详解 目录 1. 介绍 2. 字符指针初始化的基础 3. 使用 const 关键字的字符指针初始化 4. C 语言与 C 在字符指针初始化的差异 5. 常见陷阱与最佳实践 6. 进阶概念&#xff1a;指针算术与动态内存分配 7. 字符串函数与字符指针 8. 结论介绍 在 C 语言中…

基于多设计模式下的同步异步⽇志系统

目录 1.项目介绍 2.整体框架设计 3.⽇志输出格式化类设计 4.⽇志落地(LogSink)类设计 5.⽇志器类(Logger)设计&#xff08;建造者模式&#xff09; 6.双缓冲区异步任务处理器&#xff08;AsyncLooper&#xff09;设计 7.⽇志宏&全局接⼝设计&#xff08;代理模式&am…

Python获取音视频时长

Python获取音视频时长 Python获取音视频时长1、安装插件2、获取音视频时长.py3、打包exe4、下载地址 Python获取音视频时长 1、安装插件 pip install moviepy -i https://pypi.tuna.tsinghua.edu.cn/simple2、获取音视频时长.py 上代码&#xff1a;获取音视频时长.py # -*-…

C语言基础入门详解三

前些天发现了一个蛮有意思的人工智能学习网站,8个字形容一下"通俗易懂&#xff0c;风趣幽默"&#xff0c;感觉非常有意思,忍不住分享一下给大家。 &#x1f449;点击跳转到教程 一、C语言之函数指针 #include<stdio.h> #include<stdlib.h> /**函数指针 …

百度文心一言接入教程-Java版

原文链接 前言 前段时间由于种种原因我的AI BOT网站停运了数天&#xff0c;后来申请了百度的文心一言和阿里的通义千问开放接口&#xff0c;文心一言的接口很快就通过了&#xff0c;但是文心一言至今杳无音讯。文心一言通过审之后&#xff0c;很快将AI BOT的AI能力接入了文心…

uniapp使用echarts

uniapp使用echarts 1.下载资源包2.引入资源包3.代码示例注意事项 1.下载资源包 https://echarts.apache.org/zh/download.html 2.引入资源包 将资源包放入项目内 3.代码示例 <template><div style"width:100%;height:500rpx" id"line" ref&…

【网络】应用层——HTTP协议

&#x1f431;作者&#xff1a;一只大喵咪1201 &#x1f431;专栏&#xff1a;《网络》 &#x1f525;格言&#xff1a;你只管努力&#xff0c;剩下的交给时间&#xff01; &#x1f3c0;认识HTTP协议 上篇文章中&#xff0c;本喵带着大家对HTTP有了一个初步的认识&#xff0…

使用Django自带的后台管理系统进行数据库管理的实例

Django自带的后台管理系统主要用来对数据库进行操作和管理。它是Django框架的一个强大功能&#xff0c;可以让你快速创建一个管理界面&#xff0c;用于管理你的应用程序的数据模型。 使用Django后台管理系统&#xff0c;你可以轻松地进行以下操作&#xff1a; 数据库管理&…

打羽毛球也能和C++有关联?C++高级应用程序示例,帮助你在计算机上“打羽毛球”

哇哦&#xff01;打羽毛球也能和C有关联&#xff1f;这就让我给你展示一个高级的C应用程序示例&#xff0c;来帮助你在计算机上“打羽毛球”吧&#xff01; 首先我们需要创建一个名为“BadmintonGame”的类&#xff0c;它将代表整个羽毛球比赛。该类将包含以下成员变量和成员函…

动态SQL 语句-更复杂的查询业务需求也能轻松拿捏

文章目录 动态SQL 语句-更复杂的查询业务需求动态SQL-官方文档为什么需要动态SQL动态SQL-基本介绍基本介绍动态SQL 必要性解决方案分析 动态SQL 常用标签动态SQL-案例演示if 标签应用实例where 标签应用实例choose/when/otherwise 应用实例forEach 标签应用实例trim 标签应用实…

电脑重启后VScode快捷方式失效,找不到Code.exe

问题描述 下班回家关了部分程序就直接关机了&#xff0c;回家后重启电脑发现vscode的快捷方式就失效了&#xff0c;提示Code.exe已被移动或删除。 解决方法 查看你的vscode安装目录&#xff0c;Microsoft VS Code目录下大概率会存在一个名为_的文件夹&#xff0c;然后会发现…

【公益】Q学友联合福田人力资源局开展“侨香社区促就业 技能培训强本领”

落实《“十四五”就业促进规划》文件精神&#xff0c;进一步提高就业劳动者就业技能水平&#xff0c;提高居民就业率&#xff0c;侨香社区党委坚持以党建为引领&#xff0c;整合多方资源&#xff0c;深入开展“我为群众办实事”&#xff0c;切合群众实际、满足群众需求&#xf…

深度学习技巧应用24-深度学习手撕代码与训练流程的联系记忆方法

大家好,我是微学AI,今天给大家介绍一下深度学习技巧应用24-深度学习手撕代码与训练流程的联系记忆方法,大家都知道深度学习模型训练过程是个复杂的过程,这个过程包括数据的收集,数据的处理,模型的搭建,优化器的选择,损失函数的选择,模型训练,模型评估等步骤,其中缺少…

Tomcat注册为Windows服务

要将Tomcat注册为Windows服务&#xff0c;可以使用Tomcat提供的实用工具service.bat。以下是注册和配置Tomcat作为Windows服务的步骤&#xff1a; 打开命令提示符&#xff08;Command Prompt&#xff09;或 PowerShell&#xff0c;然后进入Tomcat安装目录的"bin"文件…

Java基础_网络编程

Java基础_网络编程 网络编程三要素InetAddress网络模型 UDP通信程序单播发送数据接收数据聊天室 组播广播 TCPTCP通信程序三次握手和四次挥手 来源Gitee地址 网络编程三要素 IP: 设备在网络中的地址&#xff0c;是唯一的标识端口号: 应用程序在设备中唯一的标识。协议: 数据在…

为什么sql语句中where后面不能直接跟分组函数

为什么sql语句中where后面不能直接跟分组函数 当我们错误的使用分组函数之后&#xff0c;mysql会报错&#xff0c;提示“ Invalid use of group function”&#xff0c;这就是今天要说的问题&#xff1a;where后面不能直接跟分组函数。 分组函数有五种count、sum、avg、max、…

【Qt】利用Tool Button控件创建下拉菜单按钮

功能描述 利用qt进行界面设计和开发&#xff0c;创建下拉按钮。 详细实现 1、在qt侧工具栏利用设计打开.ui文件 2、创建按钮 创建一个Tool Button按钮&#xff0c;并在属性窗口中的QToolButton栏中选中MenuButtonPopup属性。 3、创建action 在Action编辑器创建对应的ac…

基于形态学的方法来实现指纹细节的快速细化算法:Python实现及优化策略

尊敬的读者们,大家好,我在这篇文章中将会和大家分享我所探索的一种用于确定指纹细节的快速细化算法。我相信这将对有相同需求的人带来一些启示,同时,我也希望听取大家对我的方法的反馈和建议,帮助我持续改进和优化这个算法。 一、背景与动机 在数字图像处理领域,特别是…

SQL编译优化原理

最近在团队的OLAP引擎上做了一些SQL编译优化的工作&#xff0c;整理到了语雀上&#xff0c;也顺便发在博客上了。SQL编译优化理论并不复杂&#xff0c;只需要掌握一些关系代数的基础就比较好理解&#xff1b;比较困难的在于reorder算法部分。 文章目录 基础概念关系代数等价 j…

k8s webhook实例,java springboot程序实现 对Pod创建请求添加边车容器 ,模拟istio实现日志文件清理

k8s webhook实例&#xff0c;java springboot程序实现 对Pod创建请求添加边车容器 &#xff0c;模拟istio实现日志文件清理 大纲 背景与原理实现流程开发部署my-docker-demo-sp-user服务模拟业务项目开发部署my-sidecar服务模拟边车程序开发部署服务my-docker-demo-k8s-opera…