Golang + Redis解决缓存击穿（双层缓存）

Golang + Redis解决缓存穿透（双层缓存）

代码地址：
https://github.com/ziyifast/ziyifast-code_instruction/tree/main/redis_demo/cache_breakdown

1 概念

目前主流方案是在数据库前加一层缓存。类似于DB的防弹衣。
缓存击穿：Redis热点key过期，查询Redis不存在，高并发情况下大量请求打到DB。

拓展：

概念产生原因解决思路
缓存穿透恶意请求不存在的Key缓存空对象、布隆过滤器等
缓存雪崩Redis大面积key过期快速失败熔断、主从模式、集群模式。过期时间尽量随机
缓存击穿热点Key过期互斥更新、随机退避、差异失效时间（两份缓存cacheA、cacheB，差异过期时间）

1.1 缓存击穿：热点key过期

如淘宝天猫聚优选页面，经常会有最火HOT排行，这个排行定时会更新，那么在更新时，我们会去删除之前Redis的缓存，然后从数据库加载新的数据到Redis。

  • 删除时，我们可以理解为key过期了，因为浏览器缓存如果此时有大量用户在页面点击Redis中已经过期的商品，就会有大量请求打到数据库。

在这里插入图片描述

1.2 解决方案：双层缓存

解决方案：双层缓存（cacheA、cacheB）

  • 互斥更新、随机退避、差异失效时间（两份缓存，差异过期时间）
  • 我们可以将热点Key在Redis中存两份（两份过期时间不同=》差异过期时间），cacheA过期时，保证在cacheA加载新数据完成前，用户能查询到cacheB中的数据，不至于大量请求直接打到数据库。
  • 因为热点key的数据较少，因此缓存两份不会对内存有太多开销。

2 代码

2.1 模拟缓存击穿

1 演示
  • 案例解析：
  1. Redis中存热点数据20个，然后提供一个接口返回topK的热点数据
  2. 8s后刷新redis缓存，模拟key过期
  3. 重新加载数据sleep 6秒，模拟数据库及IO耗时

①热点key过期前，请求到了redis就返回了
在这里插入图片描述
在这里插入图片描述
②当热点key过期时，请求直接打到数据库
在这里插入图片描述

2 代码
package mainimport ("context""encoding/json""fmt""github.com/go-redis/redis/v8""github.com/kataras/iris/v12"context2 "github.com/kataras/iris/v12/context""github.com/ziyifast/log""time"
)var RedisCli *redis.Clientfunc init() {RedisCli = redis.NewClient(&redis.Options{Addr: "localhost:6379",DB:   0,})_, err := RedisCli.Del(context.TODO(), GoodsKeyCacheA).Result()if err != nil {panic(err)}
}type Goods struct {Id   int    `json:"id"`Name string `json:"name"`
}var (GoodsKeyCacheA = "goodsA"GoodsKeyCacheB = "goodsB"
)func InitDb(s, count int, cacheKey string) {for i := s; i < s+count; i++ {g := &Goods{Id:   i + 1,Name: fmt.Sprintf("good-%d", i+1),}marshal, err := json.Marshal(g)if err != nil {panic(err)}_, err = RedisCli.RPush(context.TODO(), cacheKey, string(marshal)).Result()if err != nil {panic(err)}}
}func main() {InitDb(0, 20, GoodsKeyCacheA)app := iris.New()app.Get("/goods/top/{offset}/{pageSize}", func(c *context2.Context) {offset, err := c.Params().GetInt64("offset")if err != nil {panic(err)}pageSize, err := c.Params().GetInt64("pageSize")if err != nil {panic(err)}start := (offset - 1) * pageSizeend := offset*pageSize - 1err = c.JSON(QueryForData(start, end))if err != nil {panic(err)}})//set the expire time_, err := RedisCli.Expire(context.TODO(), GoodsKeyCacheA, time.Second*8).Result()if err != nil {panic(err)}go ReloadNewGoods()app.Listen(":9999", nil)
}func QueryForData(start, end int64) []string {val := RedisCli.LRange(context.TODO(), GoodsKeyCacheA, start, end).Val()log.Infof("query redis of cache A")if len(val) == 0 {log.Infof("redis is not exist, query db.....no!!!!")}return val
}func ReloadNewGoods() {time.Sleep(time.Second * 15)log.Infof("start ReloadNewGoods......")InitDb(2000, 20, GoodsKeyCacheA)log.Infof("ReloadNewGoods......DONE")
}

2.2 双层缓存解决问题:热点key存两份（cacheA、cacheB）

在Redis中将热点key缓存两份。且cacheA、cacheB过期时间需要不同，保证在新热点数据加载到Redis之前，CacheB能提供服务。因为热点key数据不会存在太多，所以一般缓存两份对我们内存开销影响不会很大。（当然具体情况具体分析，并非绝对）

  1. 热点数据存两份一样的：cacheA、cacheB（两份缓存key的过期时间需要不同）
  2. 到点了，需要更新热点数据，cacheA过期，重新读取加载热点数据到Redis，更新cacheA的数据为最新。此时对外提供服务的是cacheB。防止请求直接打到DB。
  3. cacheA加载最新数据完成后，cacheA对外提供服务。更新cacheB中的数据到最新。（保证数据一致）

注意：service层查询时，先查cacheA有没有，如果有直接返回，如果没有查cacheB的数据。

1 演示

①获取TopK数据
在这里插入图片描述
②当热点key更新时（cacheA过期时），保证cacheB有数据，避免数据打到数据库
在这里插入图片描述

2 代码
package mainimport ("context""encoding/json""fmt""github.com/go-redis/redis/v8""github.com/kataras/iris/v12"context2 "github.com/kataras/iris/v12/context""github.com/ziyifast/log""time"
)var RedisCli *redis.Clientfunc init() {RedisCli = redis.NewClient(&redis.Options{Addr: "localhost:6379",DB:   0,})_, err := RedisCli.Del(context.TODO(), GoodsKeyCacheA).Result()if err != nil {panic(err)}
}type Goods struct {Id   int    `json:"id"`Name string `json:"name"`
}var (GoodsKeyCacheA = "goodsA"GoodsKeyCacheB = "goodsB"
)func InitDb(s, count int, cacheKey string) {for i := s; i < s+count; i++ {g := &Goods{Id:   i + 1,Name: fmt.Sprintf("good-%d", i+1),}marshal, err := json.Marshal(g)if err != nil {panic(err)}_, err = RedisCli.RPush(context.TODO(), cacheKey, string(marshal)).Result()if err != nil {panic(err)}}
}func main() {InitDb(0, 20, GoodsKeyCacheA)app := iris.New()app.Get("/goods/top/{offset}/{pageSize}", func(c *context2.Context) {offset, err := c.Params().GetInt64("offset")if err != nil {panic(err)}pageSize, err := c.Params().GetInt64("pageSize")if err != nil {panic(err)}start := (offset - 1) * pageSizeend := offset*pageSize - 1err = c.JSON(QueryForData(start, end))if err != nil {panic(err)}})//set the expire time_, err := RedisCli.Expire(context.TODO(), GoodsKeyCacheA, time.Second*8).Result()if err != nil {panic(err)}InitDb(0, 20, GoodsKeyCacheB)//add cacheB, expire time is different from cacheA (make sure new goods will be added to cacheA)_, err = RedisCli.Expire(context.TODO(), GoodsKeyCacheB, time.Second*20).Result()if err != nil {panic(err)}go ReloadNewGoods()app.Listen(":9999", nil)
}func QueryForData(start, end int64) []string {val := RedisCli.LRange(context.TODO(), GoodsKeyCacheA, start, end).Val()log.Infof("query redis of cache A")if len(val) == 0 {log.Infof("cacheA is not exist, query redis of cache B")val = RedisCli.LRange(context.TODO(), GoodsKeyCacheB, start, end).Val()if len(val) == 0 {log.Infof("cacheB is not exist, query db, no!!!")return val}}return val
}func ReloadNewGoods() {time.Sleep(time.Second * 15)log.Infof("start ReloadNewGoods......")InitDb(2000, 20, GoodsKeyCacheA)//set the expire time of cacheAlog.Infof("ReloadNewGoods......DONE")//reload cacheB....//set the expire time of cacheB
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/734528.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

chromedriverUnable to obtain driver for chrome using ,selenium找不到chromedriver

chromedriverUnable to obtain driver for chrome using ,selenium找不到chromedriver

1、下载chromedriver chromedriver下载网址&#xff1a;CNPM Binaries Mirror 老版本在&#xff1a;chromedriver/ 较新版本在&#xff1a;chrome-for-testing/ 2、设置了环境变量还是找不到chromedriverUnable to obtain driver for chrome using NoSuchDriverException:…
阅读更多...
使用Tesseract-OCR对PDF等图片文件进行文字识别

使用Tesseract-OCR对PDF等图片文件进行文字识别

安装 用 Homebrew 来安装 Tesseract brew install tesseract 2. 完成 tessearact 的安装后&#xff0c;还需要安装中文数据包&#xff0c;执行以下两个操作&#xff0c; brew info tesseract 执行这个指令的目的&#xff0c;是找到 Homebrew 把 tesseract 安装在文件夹内&am…
阅读更多...
SRS(Simple Realtime Server)

SRS(Simple Realtime Server)

SRS(Simple Realtime Server - github) SRS 中文官网 docker安装srs ##&#xff08;安全组放开1935端口、8080端口&#xff09; docker run --rm -it -p 1935:1935 -p 1985:1985 -p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp ossrs/srs:5推流 ## 不需要加端口 ffmpeg…
阅读更多...
黑白名单方案

黑白名单方案

通用黑白名单方案 背景 设计一套灵活的黑白名单机制&#xff0c;要求无需修改代码即可修改黑白名单逻辑的切换。使用场景如下&#xff0c;比如原先一个新功能上线&#xff0c;我们期望给部分企业使用&#xff1b;等功能成熟后&#xff0c;我们一般会开放给所有的企业一起使用…
阅读更多...
【C++】6-10 输出最大值 分数 10

【C++】6-10 输出最大值 分数 10

6-10 输出最大值 分数 10 全屏浏览 切换布局 作者 范鹏程 单位 内蒙古师范大学 根据给定的程序&#xff0c;写成相关的成员函数&#xff0c;完成指定功能。 函数接口定义&#xff1a; 定义max函数&#xff0c;实现输出最高成绩对应的学号以及最高成绩值。 裁判测试程序样…
阅读更多...
安装及管理docker

安装及管理docker

文章目录 1.Docker介绍2.Docker安装3.免sudo设置4. 使用docker命令5.Images6.运行docker容器7. 管理docker容器8.创建image9.Push Image 1.Docker介绍 Docker 是一个简化在容器中管理应用程序进程的应用程序。容器让你在资源隔离的进程中运行你的应用程序。类似于虚拟机&#…
阅读更多...
设计一个订单管理系统(OMS)系统100问？

设计一个订单管理系统(OMS)系统100问？

发一个订单管理系统(OMS)是为了帮助企业有效管理订单流程、提升客户体验、优化供应链管理。一个完善的订单管理系统不仅仅是简单地记录和处理订单信息&#xff0c;更需要考虑到订单的全生命周期管理&#xff0c;包括订单的创建、支付、配送、售后等环节。在设计和开发订单管理系…
阅读更多...
Vue.js+SpringBoot开发厦门旅游电子商务预订系统

Vue.js+SpringBoot开发厦门旅游电子商务预订系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 景点类型模块2.2 景点档案模块2.3 酒店管理模块2.4 美食管理模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 学生表3.2.2 学生表3.2.3 学生表3.2.4 学生表 四、系统展示五、核心代码5.1 新增景点类型5.2 查询推荐的…
阅读更多...
H5 简单打赏台多合一支付收款HTML源码

H5 简单打赏台多合一支付收款HTML源码

源码名称&#xff1a;简单打赏台多合一支付收款HTML源码 源码介绍&#xff1a;一款简单的三合一收款码源码&#xff0c;只需要替换收款二维码即可 需求环境&#xff1a;H5 下载地址&#xff1a; https://www.changyouzuhao.cn/12170.html
阅读更多...
AcWing 4261.孤独的照片

AcWing 4261.孤独的照片

这道题其实也是和子串分值的题是一样的&#xff0c;运用贡献法的思路来算的。 这里需要强调一一点&#xff1a;这里的说的是不小于3的子序列&#xff0c;而不是全部序列。 所以&#xff0c;在我们算出来这个值之后&#xff0c;需要进行减法处理&#xff0c;首先需要减去只有一…
阅读更多...
R语言——采用主成分分析PCA方法下的“S 模式 “矩阵从同步分类中提取度量指标

R语言——采用主成分分析PCA方法下的“S 模式 “矩阵从同步分类中提取度量指标

本教程将向您展示如何根据我们的综合分类计算一些指标。 PCA PCA（Principal Component Analysis，主成分分析）是一种常用的数据降维技术，用于从高维数据中提取最重要的特征。它通过将原始数据转换为一组新的正交变量，称为主成分，以捕捉数据中最大的方差。 PCA的具体步骤…
阅读更多...
2024年华为OD机试真题-万能字符单词拼写-Java-OD统一考试（C卷）

2024年华为OD机试真题-万能字符单词拼写-Java-OD统一考试（C卷）

题目描述： 有一个字符串数组words和一个字符串chars。 假如可以用chars中的字母拼写出words中的某个“单词”（字符串），那么我们就认为你掌握了这个单词。 words的字符仅由 a-z 英文小写字母组成。 例如: abc chars 由 a-z 英文小写字母和 “?”组成。其中英文问号“?”表…
阅读更多...
UE5.2 SmartObject使用实践

UE5.2 SmartObject使用实践

SmartObject是UE5新出的一项针对AI的功能&#xff0c;可为开发者提供如公园长椅、货摊等交互对象的统一外观封装&#xff0c;如UE的CitySample&#xff08;黑客帝国Demo&#xff09;中就运用到了SmartObject。 但SmartObject实践起来较为繁琐&#xff0c;主要依赖于AI及行为树…
阅读更多...
C++_可变参数模板

C++_可变参数模板

目录 1、可变参数模板的用法 2、参数包展开 2.1 递归方式展开 2.2 逗号表达式形式展开 3、参数包的大小 结语 前言&#xff1a; C11引入了可变参数模板&#xff0c;他的作用是可以让创建的函数模板或者类模板的模板参数可以接收任意数量参数&#xff0c;在C11前&#x…
阅读更多...
微信小程序-自定义简易顶部导航

微信小程序-自定义简易顶部导航

创建component文件夹 创建navigation文件夹&#xff0c;创建navigation组件 navigation.json {"component": true,"usingComponents": {} }navigation.wxml <view class"navigation"><van-icon wx:if"{{showBack}}" custom…
阅读更多...
C语言初学10：typedef

C语言初学10：typedef

一、作用 为用户定义的数据类型取一个新名字 二、对结构体使用typedef定义新的数据类型名字 #include <stdio.h> #include <string.h>typedef struct Books //使用 typedef 来定义一个新的数据类型名字 {char title[50];} book;int main( ) {//book是typedef定…
阅读更多...
【Scrapy】京东商品数据可视化

【Scrapy】京东商品数据可视化

【Scrapy】京东商品数据可视化 文章目录 【Scrapy】京东商品数据可视化  &#x1f449;引言&#x1f48e;一、爬取数据&#xff1a;1.1 scrapy爬虫库简介&#xff1a;1.2 技术实现&#xff1a;1.2.1搭建框架结构1.2.2 分析网页结构 二、数据保存&#xff1a;三、数据读取以及…
阅读更多...
回归预测 | Matlab实现BiTCN-BiGRU-Attention双向时间卷积双向门控循环单元融合注意力机制多变量回归预测

回归预测 | Matlab实现BiTCN-BiGRU-Attention双向时间卷积双向门控循环单元融合注意力机制多变量回归预测

回归预测 | Matlab实现BiTCN-BiGRU-Attention双向时间卷积双向门控循环单元融合注意力机制多变量回归预测 目录 回归预测 | Matlab实现BiTCN-BiGRU-Attention双向时间卷积双向门控循环单元融合注意力机制多变量回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.M…
阅读更多...
使用scrapy爬取蜻蜓FM

使用scrapy爬取蜻蜓FM

创建框架和项目 ### 1. 创建虚拟环境 conda create -n spiderScrapy python3.9 ### 2. 安装scrapy pip install scrapy2.8.0 -i https://pypi.tuna.tsinghua.edu.cn/simple### 3. 生成一个框架并进入框架 scrapy startproject my_spider cd my_spider### 4. 生成项目 scrapy …
阅读更多...
DFS例题（n皇后问题）C++（Acwing）

DFS例题（n皇后问题）C++（Acwing）

代码&#xff1a; #include <iostream>using namespace std;const int N 20;int n; char g[N][N]; bool col[N], dg[N], udg[N];void dfs(int u) {if(u n){for(int i 0; i < n; i) puts(g[i]);puts("");return; }for(int i 0; i < n…
阅读更多...
最新文章

Copyright @ 2022~2023