深入解析缓存模式下的数据一致性问题

今天,我们来聊聊常见的缓存模式和数据一致性问题。

常见的缓存模式有:Cache AsideRead ThroughWrite ThroughWrite BackRefresh AheadSingleflight

缓存模式

Cache Aside

在 Cache Aside 模式中,是把缓存当做一个独立的数据源,在读取和写入数据时,由业务方来控制顺序。

在这里插入图片描述
在【写策略】中,有一个更新顺序,是先更新数据库,还是先更新缓存呢?

一般来说,我们要先更新数据库,因为在大多数业务场景下,数据是以数据库为准的,如果写入数据库成功了,即使写入缓存失败,缓存本身会有过期时间,在过期之后重新加载,数据就会恢复一致了。

不管【先写数据库,还是先写缓存】都不能解决数据一直性问题。

在这里插入图片描述

删除缓存

其实,实际最常用的并不是去更新缓存,而是去删除缓存。也就是在更新数据的时候先更新数据库,然后将缓存删除。

【先更新数据库、再删除缓存】下,依旧存在数据一致性问题,但是它的一致性问题不是源自两个线程同时更新数据,而是源自一个线程更新数据,一个线程缓存未命中回查数据库。

实际上这个情况出现的概率非常低,因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多,而且还要锁表,而读操作必需在写操作前进入数据库操作,而又要晚于写操作更新缓存,所有的这些条件都具备的概率基本并不大。

在这里插入图片描述

Read Through(读穿透)

在该模式下,当缓存里面没有数据的时候,缓存会代替我们去数据库里面把数据加载出来,并且缓存起来。

当缓存失效时,Cache Aside 是由业务方负责把数据加载入缓存,而 Read Through 则是缓存服务自己来加载,从而对应用方是透明的。

在这里插入图片描述
可以看到,Read Through 的写模式和Cache Aside是一样的,所以也会存在数据一致性问题。

Write Through(写穿透)

当有数据更新的时候,如果没有命中缓存,直接更新数据库,然后返回。如果命中了缓存,则更新缓存,然后再由Cache自己更新数据库。

在这里插入图片描述
显然,Write Through 也没有解决数据一致性的问题,可以参考 Cache Aside 中的分析。

Write Back

此模式下,当写入数据时,只是写到了缓存,当缓存过期的时候,才会被刷新到数据库。

在这里插入图片描述

这里有一个问题,如果数据还在缓存中的时候,缓存突然崩溃了,那数据就直接丢了,所以在使用中我们要能保证缓存的高可用。

那么,Write Back 能否解决数据一致性问题呢?

先看【写操作】,在更新数据时,由于业务代码只更新 redis 缓存中的数据,所以对于业务方来说,数据必然是一致的。

这里需要注意下,虽然缓存和数据库中的数据不一致,但是业务方只读写缓存,所以对于业务方来说,数据是一致的。

比如下面的例子,只有 a 过期时,数据库中的 a 才等于 2

在这里插入图片描述
再看【读操作】

当业务方读数据时,如果缓存没有数据,就要去数据库里面加载。这个时候,就有可能产生不一致的问题。

比如说,数据库中 a=3,读出来之后还没写到缓存里面。这个时候来了一个写请求,在缓存中写入了 a = 4。如果这时候读请求回写缓存,就会用数据库里的老数据覆盖缓存中的新数据。

在这里插入图片描述

那么这个问题怎么解决呢?

当读请求回写的时候,使用 SETNX 命令。也就是说,只有当缓存中没有数据的时候,才会回写数据。而如果回写失败了,那么读请求会再从缓存中读取到数据。

在这里插入图片描述

所以,如果能保证缓存的高可用,那么 Write Back 在缓存一致性的表现上,比其他模式要好。

Refresh Ahead

Refresh Ahead 是指利用 CDC(Capture Data Change)接口异步刷新缓存的模式。

比如说利用 Canal 来监听数据库的 binlog,然后 Canal 刷新 Redis。
在这里插入图片描述

这种模式也存在数据一致性的问题,也是出现在缓存未命中的读请求和写请求上。

在这里插入图片描述

解决方案跟 Write Back 模式是一样的,也是利用 SETNX 命令。

在这里插入图片描述

Singleflight

Singleflight 主要是为了控制住加载数据的并发量,它是指当缓存未命中的时候,访问同一个 key 的线程中只有一个会去真的加载数据,其他都在原地等待。

在这里插入图片描述

这个模式最大的优点就是可以减轻访问数据库的并发量。

比如说如果同一时刻有 100 个线程要访问 key1,那么最终也只会有 1 个线程去数据库中加载数据。

这个模式的缺点是如果并发量不高,那么基本没有效果。所以热点之类的数据就很适合用这个模式。

如何保证缓存一致性

在 深入解析缓存与数据库数据不一致问题 的文章中,我们已经深入讨论过,数据不一致的来源有两个

  • 源自操作部分失败;
  • 源自并发操作。

并且对【源自操作部分失败】的场景,给出了解决方案-【重试机制】。

所以,我们今天只讨论【源自并发操作】的场景。

要想解决并发操作带来的问题,可以使用缓存模式分布式锁消息队列版本号

版本号

版本号解决并发更新的问题的基本思路就是每一次更新版本号都要加一,然后低版本数据不能覆盖高版本的数据。

比如在 Cache Aside 模式里面,加上版本号之后,就不会出现不一致的问题了。

在这里插入图片描述

这个方案的难点在于怎么去维护版本号?

可以在数据库里面增加一个版本号字段,然后在更新 redis 缓存的时候,就得使用 lua 脚本,先检测并比对缓存的版本号,再执行更新。

假如, redis 中有两个 key,name_1118:ybbyqqname_1118_v:4,分别代表用户姓名和版本号值。

在更新 redis 的时候,我们需要有一个 lua 脚本来校验缓存的版本号。

-- Lua 脚本用于更新缓存,确保版本号的一致性
-- KEYS[1] 是缓存中的key
-- KEYS[2] 是缓存中的key的版本号
-- ARGV[1] 是新的版本号
-- ARGV[2] 是新的值-- 获取缓存中的版本号
local cacheVersion = redis.call('GET', KEYS[2])-- 检查传入的新版本号是否小于缓存中的版本号
if cacheVersion and tonumber(cacheVersion) >= tonumber(ARGV[1]) then-- 如果新版本号小于或等于缓存中的版本号,则不更新缓存return 0
end-- 更新缓存中的值
local result = redis.call('SET', KEYS[1], ARGV[2])
-- 更新缓存中的版本号
result = redis.call('SET', KEYS[2], ARGV[1])return result

然后将该脚本加载到服务中

redis-cli -a 111111 script load "$(cat version.lua)"

会返回一段 sha 码 057995d53a5f06cabc5e16a6c3ffdee666752f9

执行EVALSHA 命令

 EVALSHA 057995d53a5f06cabc5e16a6c3ffdee666752f95 2 name_1118 name_1118_v 5 ybb

消息队列

让更新请求都跑到消息队列上排个队,保证同一时刻只有一个线程在更新数据。

可以参考缓存模式中的 Refresh Ahead,且在回写缓存时,使用 SETNX 命令。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/59204.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ffmpeg视频滤镜:膨胀操作-dilation

滤镜介绍 dilation 官网链接 > FFmpeg Filters Documentation 膨胀滤镜会使图片变的更亮,会让细节别的更明显。膨胀也是形态学中的一种操作,在opencv中也有响应的算子。此外膨胀结合此前腐蚀操作,可以构成开闭操作。 开操作是先腐蚀…

多线程和线程同步基础篇学习笔记(Linux)

大丙老师教学视频:10-线程死锁_哔哩哔哩_bilibili 目录 大丙老师教学视频:10-线程死锁_哔哩哔哩_bilibili 线程概念 为什么要有线程 线程和进程的区别 在处理多任务的时候为什么线程数量不是越多越好? Linux提供的线程API 主要接口 线程创建 pth…

jeecgbootvue2菜单路由配置静态文件夹(public)下的html

需求:想要在菜单配置src/assets/iconfont/chart.html显示页面(目的是打包上线以后运维依然可以修改数据) 官网没有相关数据:菜单配置说明 JeecgBoot 开发文档 看云 问题现象: 我把文件放在src/assets/iconfont/chart.html然后在vue中作为 iframe 的 src 属性&am…

3种AI黑科技,让照片中的人物开口说话的简易方法,快进来学!

本文背景 用AI工作这么久了,我经常碰到各种关于AI的问题,比如制作让照片中人物开口说话的数字人。 很多小伙伴想知道是怎么弄的,不知从何下手。不过不用担心,今天就给大家带来三种实用的方法,快来一起试试吧。 首先是腾…

【docker compose】docker compose的hello world

安装docker desktop后在终端使用以下命令,代表安装成功,并查看当前安装的版本 docker-compose --version示例docker-compose.yml文件 version: 3.8 # 指定 Docker Compose 文件的版本services:scau_jwc: # 定义一个名为 scau_jwc 的服务image: scau_…

【js逆向学习】某多多anti_content逆向(补环境)

文章目录 声明逆向目标逆向分析逆向过程总结 声明 本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的…

【C++】动态内存

一、内存区域分布 首先我们来看一段代码并尝试解决以下问题: 1. GlobalVar是全局变量,存储在数据段(静态区),选C。2. staticGlobalVar是静态全局变量,也存储在数据段(静态区)&#x…

基于STM32的温湿度监测器教学

引言 随着科技的发展,温湿度监测在农业、仓储、环境监测等领域的应用越来越广泛。本文将指导您如何基于STM32开发一个简单的温湿度监测器,使用常用的DHT11或DHT22传感器进行数据采集,并将监测结果显示在LCD或OLED屏幕上。 项目名称 STM32温湿…

哈希表,哈希桶及配套习题

我们今天带大家简单了解哈希表是怎样的,和简单模拟哈希桶,还有几道练习题 一,哈希表 什么是哈希表,哈希表是一种非常非常高效的数据结构,它用来搜索我们想要的数据,我们之前学过很多查找方法,最…

二百七十四、Kettle——ClickHouse中对错误数据表中进行数据修复(实时)

一、目的 在完成数据清洗、错误数据之后,需要根据修复规则对错误数据进行修复 二、Hive中原有代码 insert into table hurys_db.dwd_queue partition(day) selecta3.id,a3.device_no,a3.source_device_type,a3.sn,a3.model,a3.create_time,a3.lane_no,a3.lane_…

Golang | Leetcode Golang题解之第530题二叉搜索树的最小绝对差

题目&#xff1a; 题解&#xff1a; func getMinimumDifference(root *TreeNode) int {ans, pre : math.MaxInt64, -1var dfs func(*TreeNode)dfs func(node *TreeNode) {if node nil {return}dfs(node.Left)if pre ! -1 && node.Val-pre < ans {ans node.Val -…

Android Studio打包时不显示“Generate Signed APK”提示信息

Android Studio打包时&#xff0c;默认显示“Generate Signed APK”提示信息&#xff0c;如下图所示&#xff1a; 如果在打包时不显示“Generate Signed APK”提示信息&#xff0c;解决办法是&#xff1a; Android Studio菜单栏&#xff0c;“File->Settings->Appearan…

手游和应用出海资讯:可灵AI独立APP即将上架;Rollic在英国推出芭比合并解谜手游

NetMarvel帮助游戏和应用广告主洞察全球市场、获取行业信息&#xff0c;以下为10月第四周资讯&#xff1a; ● 苹果开发全新游戏中心应用 ● Meta计划开发人工智能搜索引擎 ● 微软已拥有20个游戏IP&#xff0c;收入达10亿美元 ● OpenAI计划在12月推出其下一代前沿模型Orion ●…

js中多let与var

在 JavaScript 中&#xff0c;let 和 var 都用于声明变量&#xff0c;但它们有一些关键的区别。主要区别包括作用域、变量提升、可重复声明、以及在全局作用域中的行为。 1. 作用域&#xff08;Scope&#xff09; let&#xff1a;块级作用域。用 let 声明的变量只在其所在的代…

qt管理系统框架(好看界面、漂亮界面、好看的界面、漂亮的界面)

概述 最近一个项目用QT开发&#xff0c;然后找了美工帮设计了下界面。总算完工&#xff0c;后想一下干脆抽出一个基础框架&#xff0c;方便以后用。 功能 支持mysql、echarts。 支持加载动态权限菜单&#xff0c;轻松权限控制。 支持遮罩对话框、抽屉 支持开机启动动画界面 内…

华为云计算知识总结——及案例分享

目录 一、华为云计算基础知识二、华为云计算相关案例实战案例一&#xff1a;搭建弹性云服务器&#xff08;ECS&#xff09;并部署Web应用案例二&#xff1a;构建基于OBS的图片存储和分发系统案例三&#xff1a;基于RDS的高可用数据库应用案例四&#xff1a;使用华为云DDoS防护保…

11.1组会汇报-基于区块链的安全多方计算研究现状与展望

基础知识 *1.背书&#xff0c;这个词源来自银行票据业务&#xff0c;是指票据转让时&#xff0c;原持有人在票据背面加盖自己的印鉴&#xff0c;证明该票据真实有效、如果有问题就可以找原持有人。 区块链中的背书就好理解了。可以简单的理解为验证交易并声明此交易合法&…

【Linux】进程间通信(命名管道、共享内存、消息队列、信号量)

作者主页&#xff1a; 作者主页 本篇博客专栏&#xff1a;Linux 创作时间 &#xff1a;2024年11月2日 命名管道&#xff1a; 如果我们想在不相关的进程之间交换数据&#xff0c;可以使用FIFO文件来做这项工作&#xff0c;它经常被称为命名管道。命名管道是一种特殊类型的文…

划界与分类的艺术:支持向量机(SVM)的深度解析

划界与分类的艺术&#xff1a;支持向量机&#xff08;SVM&#xff09;的深度解析 1. 引言 支持向量机&#xff08;Support Vector Machine, SVM&#xff09;是机器学习中的经典算法&#xff0c;以其强大的分类和回归能力在众多领域得到了广泛应用。SVM通过找到最优超平面来分…

Java设计模式(代理模式整理中ing)

一、代理模式 1、代理模式定义&#xff1a; 代理模式&#xff1a;由于某些原因要给某对象提供一个代理以控制对该对象的访问&#xff0c;这时访问对象不适合或者不能够直接引用目标对象&#xff0c;代理对象作为访问对象与目标对象之间的中介进行连接调控调用。 2、代理模式的…