一线大厂Redis高并发缓存架构

场景1:秒杀库存场景, 10000人抢100个商品

如果用普通的分布式锁实现, 最后抢到的人,要等前面99个人抢完

优化方案:可用分段锁, 降低锁的粒度, 比如1-10库存用锁product:101_1,11-20库存用锁product:101_2等, 提高并发性能

代码:==

场景2: 商品的增删改查,如何用高并发缓存架构实现?针对各种并发场景,如何优化

查询:先从缓存获取,缓存没有查库, 查到库之后放入缓存

新增/修改:取数据库更新货品,删除缓存

问题1:99%的商品都是冷门商品, 不应该全部放在redis缓存

解决:设置缓存有效期, 例如一天,每次查询时将锁延期(ttl命令很快), 实现冷热数据分离。如果每天访问的热数据还是很多, 可以用缓存淘汰策略。

问题2: 缓存击穿。例如某些批量操作, 批量查库, 批量放缓存一天, 缓存同时过期, 下次批量操作时, 大量请求直接打到数据库,数据库顶多只能扛几万的qps

解决:缓存过期时间加上随机数, 分散过期, 分散查库压力

问题3: 缓存穿透

例如某个热门商品被后台小二误删, 客户端还有很多人访问,会有大量请求持续打到数据库;

例如黑客攻击,浏览器编辑url访问一个不存在的商品id,

解决:

  • 将不存在商品缓存NULL, 下次直接从缓存拿
  • 布隆过滤器

问题4:黑客用脚本批量访问很多不存在的商品id,导致Redis缓存很多不存在的值是NULL商品

解决:NULL商品缓存有效期可以设置短一点, 例如1分钟

问题5: 热点key重建

前提:

  • 当前key是一个热点key(例如一个热门的娱乐新闻),并发量非常大。
  • 重建缓存不能在短时间完成, 可能是一个复杂计算, 例如复杂的SQL、 多次IO、 多个依赖

缓存失效的瞬间, 会有大量线程来重建缓存, 造成后端负载加大, 可能会让应用崩溃

解决: 分布式锁+双重检查.查数据库之前加一把分布式锁, 获取锁成功后, 再去缓存检查一遍, 缓存没有再去查库. 

问题6: 缓存雪崩

如果发生以下场景, 导致大量请求直接打到数据库, 引起系统负载暴增, 性能下降甚至瘫痪

  • 在某个时间点,缓存中的大量数据同时过期失效。
  • Redis宕机

解决:

  • 限流
  • 缓存加随机时间
  • 用多级缓存, 例如再加一层JVM缓存,encache设置过期时间, mq广播更新本地缓存
  • 热点缓存系统, 客户端只查JVM缓存, 服务端更新JVM缓存

问题7: 缓存双写不一致

1. 双写不一致

2. 读写不一致

线程3如果在查数据库和写缓存中间卡顿, 如果这时候线程2写数据, 线程3再去更新缓存, 就会缓存脏数据.

解决:

  1. 读多写少时候, 用redisson读写锁, 读写互斥, 读读不互斥
  2. 读多写多时候, 不建议用缓存

问题8: 重建热点缓存key时, 分布式锁还能优化吗?

解决: 如果确定重建缓存大概需要的时候, 可用tryLock代替lock, 串行转并发.但是要考虑tryLock失败问题, 比如递归重新查或者返回错误码友好提示.

代码: ==

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/201851.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

dva的学习总结

公司的项目源码用的是react和dva,所以我必须抓紧时间学习一下dva了,一天时间,看看我学到了什么(dva官网DvaJS)[这是很久之前就打算写的了,一直没时间,一直存着草稿,今天发出来吧] 1…

大数据量快速数据库还原程序

最近在搞数据库备份,备份出来的sql都十几G,还原的贼慢还容易报错,就写了个Java程序来定时还原数据库,我加快还原的方法是修改数据库配置,因此程序需要重启数据库,线上项目数据库不能重启的就别用了。&#…

dp-基础版动态规划(动态规划每日一题计划)10/50

最小路径和 class Solution {public static int minPathSum(int[][] grid) {int dp[][]new int[grid.length][grid[0].length];dp[0][0]grid[0][0];for(int i1;i<grid[0].length;i){dp[0][i]grid[0][i]dp[0][i-1];}for(int i1;i<grid.length;i){dp[i][0]grid[i][0]dp[i-…

江苏开放大学形成性考核 平时作业参考试题

试卷代号&#xff1a;1317 社会工作行政&#xff08;本&#xff09; 参考试题 一、单项选择题&#xff08;每题只有一个正确答案&#xff0c;请将正确答案的字母填写在括号内。每题1分&#xff0c;共8分&#xff09; 1.面对新冠肺炎疫情带来的不确定性和挑战&#xff0c;某社…

linux中slab与slub的实现区别

整体上slub的实现比slab更清爽&#xff0c;连带着方便测试和debug slab 与 slub 实现对比 SLABSLUBcpu_cache上缓存的对象以slab中的某个对象为单位&#xff0c;批发到cpu_cache上以整个slab为单位装入cpu_cache上cpu_cache结构struct array_cache struct kmem_cache_cpu 是否支…

C++红黑树封装set和map(很详细)

前言 在前面&#xff0c;我们学习了红黑树。&#xff08;没学过红黑树直接看会很吃力&#xff09;set和map的底层就是红黑树&#xff0c;现在我们要用这棵树来封装STL里面的容器&#xff1a;set和map。 下面是之前讲过的红黑树&#xff0c;他只是普通的“Key”模型,适合封装set…

BabyLIN产品如何轻松搞定K线协议实现?

来源&#xff1a;虹科汽车电子 虹科技术丨BabyLIN产品如何轻松搞定K线协议实现&#xff1f; 原文链接&#xff1a;https://mp.weixin.qq.com/s/LR7VHFQajjyw6s6bVDJmsg 欢迎关注虹科&#xff0c;为您提供最新资讯&#xff01; 导读 为了实现K线通信&#xff0c;SDF-V3在协议…

redis性能测试

redis性能测试 redis提供了一个性能测试工具redis-benchmark&#xff0c;可以使用redis-benchmark命令来了解redis的性能 redis-benchmark -q -c 50----------------------q 表示简化输出结果-c 50 表示有五十个客户端-n <requests> 客户端请求总量 运行结果展示了一些常…

类的加载器

文章目录 1. 类加载器的分类2. 双亲委派模型3. 沙箱安全机制 1. 类加载器的分类 口述&#xff1a;启动类加载器加载jvm需要的核心的类库&#xff0c;扩展类加载器加载外部的jar包&#xff0c;应用程序加载器加载我们自己定义的类。 2. 双亲委派模型 规定了类加载的顺序是&a…

FAQ:Reference篇

文章目录 What is a reference?What happens if you assign to a reference?What happens if you return a reference?What does object.method1().method2() mean?How can you reseat a reference to make it refer to a different object?Why does C have both pointers…

m1源码编译xgboost的动态链接库dylib

1、下载源码 git clone --recursive https://github.com/dmlc/xgboost cd xgboost拉取源码时候&#xff0c;一定要加"--recursive"这个命令。把它的字模块也要拉取下来&#xff0c;才能编译成功 2、安装c依赖 必要的依赖项(不然后续编译时报错)&#xff0c;包括CM…

用java比较两个二叉搜索树是否等价

一. 定义树的的节点 ​ 不同二叉树的叶节点上可以保存相同的值序列。例如&#xff0c;以下两个二叉树都保存了序列 1&#xff0c;1&#xff0c;2&#xff0c;3&#xff0c;5&#xff0c;8&#xff0c;13。 package com.wedoo.coderyeah.module.iot.algorithm;import lombok.…

【CentOS】配置 Apache 服务

yum install httpd -y# 查看是否安装成功 httpd -v # 出现版本号表示成功# 启动服务 systemctl start httpd# 查看状态 systemctl status httpd # running 即可成功 ● httpd.service - The Apache HTTP ServerLoaded: loaded (/usr/lib/systemd/system/httpd.service; disable…

Redlock算法实现Redis分布式锁

Redlock算法实现Redis分布式锁 为什么基于故障转移的实现还不够 使用 Redis 锁定资源的最简单方法是在实例中创建密钥。密钥通常是在有限的生存时间内创建的&#xff0c;使用 Redis 过期功能&#xff0c;以便最终它被释放&#xff08;我们列表中的属性 2&#xff09;。当客户…

每日一题 2646. 最小化旅行的价格总和(困难,树)

分解为两个子问题&#xff0c;树中节点到节点的路径问题&#xff0c;价格减半树的最小值问题由于它是无向的树&#xff0c;所以对于每一次旅行&#xff0c;以 start 为根&#xff0c;通过dfs寻找 end 就可以很简单地找到需要的路径且它是唯一的&#xff0c;这里我们统计每经过一…

Splashtop 荣获 SDC“年度安全供应商”奖

2023年12月5日 荷兰阿姆斯特丹 Splashtop 是随处办公环境改革的先驱&#xff0c;在伦敦举办的第14届 SDC 颁奖典礼上荣获“年度安全供应商”奖&#xff0c;我们对此感到十分自豪。荣获这一知名奖项凸显了 Splashtop 致力于通过企业级加密和基于权限的访问保护不同规模组织的决…

准确!!!在 CentOS 8 上配置 PostgreSQL 14 的主从复制

在 CentOS 8 上配置 PostgreSQL 14 的主从复制&#xff0c;并设置 WAL 归档到特定路径 /home/postgres/archive 的步骤如下&#xff1a; 主服务器配置&#xff08;主机&#xff09; 配置 PostgreSQL&#xff1a; 编辑 postgresql.conf 文件&#xff1a; vim /data/postgres/p…

iis--IIS8中安装和使用URL重写工具(URL Rewrite)的方法

URL重写-下载 IIS8中安装和使用URL重写工具(URL Rewrite)的方法 IIS版本号可以被识别&#xff0c;修复图解&#xff0c;亲测有效

我的NPI项目之Android 安全系列 -- 天地混沌初开

最近在因为有新项目启动&#xff0c;目前处在kickoff之后research阶段&#xff0c;预计在1st March能拿到到Pre-EVT&#xff1b; 在此之前最主要的就是需求分析/可行性分析/风险评估。 而对于软件来说&#xff0c;作为传说中的software project leader&#xff0c;要做的最重要…

运维之远程桌面连接失败问题排查

背景&#xff1a;同一局域网&#xff0c;可以ping通但是远程连接不上&#xff0c;排查一下问题。 1、被远程计算机是否允许远程连接 2、被远程计算机防火墙是否允许 3、被远程计算机远程桌面服务是否正常 4、查看用户权限