SpringCache配置Redis有效解决缓存击穿和缓存雪崩问题

初始代码

作者参考的一篇CSDN的配置函数代码,实在不好意思,作者忘记是哪位博主了:

    /*** 设置CacheManager缓存规则* @param factory* @return*/@Beanpublic CacheManager cacheManager(RedisConnectionFactory factory) {RedisSerializer<String> redisSerializer = new StringRedisSerializer();//解决查询缓存转换异常的问题ObjectMapper om = new ObjectMapper();om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);om.activateDefaultTyping(LaissezFaireSubTypeValidator.instance ,ObjectMapper.DefaultTyping.NON_FINAL);GenericJackson2JsonRedisSerializer jackson2JsonRedisSerializer = new GenericJackson2JsonRedisSerializer(om);// 配置序列化(解决乱码的问题),过期时间600秒RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig().entryTtl(Duration.ofSeconds(600))//.entryTtl(randomTtl())// 使用随机TTL.serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer)).serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer)).disableCachingNullValues();RedisCacheManager cacheManager = RedisCacheManager.builder(factory).cacheDefaults(config).build();return cacheManager;}

上述代码配置了一个RedisCacheManager,这是Spring Cache与Redis集成的核心部分。代码中进行了以下配置(了解即可):

  1. 键和值的序列化

    • 为键使用了StringRedisSerializer,这意味着你的缓存键将存储为字符串。
    • 为值使用了GenericJackson2JsonRedisSerializer,该序列化程序基于Jackson,并能处理复杂的Java对象。
  2. JSON映射配置

    • 通过ObjectMapper配置来确保所有属性都是可见的,并默认序列化所有非final类的对象。这有助于确保多态类型的正确序列化。
  3. 缓存配置

    • 缓存条目的默认过期时间设置为600秒
    • 禁用了null值的缓存,这意味着如果某个方法返回null,它不会被缓存。

总的来说,这个配置为一个基本的Redis缓存机制提供了一个很好的起点。但还需要注意考虑一些策略来处理高并发环境下的缓存击穿和雪崩问题。


缓存击穿与缓存雪崩

缓存击穿和缓存雪崩是缓存系统中的两个常见问题,特别是在高并发环境下。它们可能导致系统性能下降,甚至造成服务中断。下面我将分别解释这两个问题,并提供相应的解决策略:

  1. 缓存击穿

    • 描述:指的是一个已经在缓存中的键突然变得非常热门。当该键的缓存到期时,大量的请求会同时去数据库中查询数据,从而可能导致数据库压力过大。
    • 解决策略:
      • 互斥锁第一个请求负责从数据库中加载数据并放入缓存,其余请求等待第一个请求处理完毕。(本文通过互斥锁解决缓存击穿问题,后文中有详细介绍)
      • 设置不过期:对于某些热门键,可以设置为永不过期,并在应用中手动管理其生命周期。
  2. 缓存雪崩

    • 描述:当多个缓存键同时到期,可能导致大量的请求同时访问数据库,从而导致数据库崩溃。
    • 解决策略:
      • 随机设置过期时间给每个缓存键设置一个随机的过期时间,避免多个键同时过期。(本文暂时利用此方法缓解雪崩问题)
      • 双层缓存:使用两层缓存,一层过期时间稍长,另一层过期时间稍短。当短的过期时,从长的获取数据,并异步更新长缓存中的数据。
      • 预热缓存:在某些键即将过期前,预先从数据库中加载数据到缓存。(好帅)
      • 使用熔断机制:在数据库压力过大时,暂时停止部分或所有请求,等待系统恢复。(好帅,好想完成)

除了上述策略,还有一些其它的策略可以应对这两个问题,例如使用限流算法(如Token Bucket、Leaky Bucket)来限制对数据库的访问频率,或者使用备份数据库来分散读取的压力。


代码实现

基于之前的代码,以下是如何增加处理缓存击穿和缓存雪崩的策略:

缓存击穿的解决策略

当我们讨论缓存击穿时,我们通常是指某一个缓存键值突然变得非常受欢迎。例如,想象一下有一个热门商品的数据被缓存,但是这个缓存即将到期。当缓存真正到期时,大量的并发请求可能会试图获取这个数据,发现缓存中没有数据,然后都会去数据库中查找。这可能会导致数据库压力过大。

这里的互斥锁策略的想法是:当缓存过期并且有多个线程尝试获取数据时,只让一个线程去数据库中查询数据并更新缓存,而其他线程则等待这个线程完成操作。这样,数据库只接受一个查询请求,而不是多个并发请求。

这可以使用Spring的@Cacheablesync属性实现。在@Cacheable注解中,添加sync属性:

@Cacheable(value = "allUsers", sync = true)
@Override
public List<User> selectAll() {return userRepository.findAll();
}

sync = true时,如果缓存值不存在,则只有一个线程会执行方法selectAll()并获取数据放入缓存中,其他的并发线程将会等待,直到第一个线程完成操作并将数据放入缓存。这就减少了对数据库的并发请求。

这个策略的主要好处是减轻了数据库的压力,但缺点是当缓存过期时,访问这个数据的请求可能会有一些延迟,因为它们可能需要等待其他线程完成数据加载。


缓存雪崩的解决策略

给每个缓存键设置一个随机的过期时间来避免许多键同时过期。这可以在RedisCacheConfiguration中设置:

首先,我们为缓存的TTL(time-to-live)定义一个随机范围:

import java.util.concurrent.ThreadLocalRandom;...private Duration randomTtl() {int baseTtl = 600; //基础TTLint randomRange = 120; //随机范围,比如+/- 120秒int randomTtl = baseTtl + ThreadLocalRandom.current().nextInt(-randomRange, randomRange);return Duration.ofSeconds(randomTtl);
}

接着,将RedisCacheConfiguration中的TTL设置为随机TTL:

RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig().entryTtl(randomTtl()) // 使用随机TTL.serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer)).serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer)).disableCachingNullValues();

现在,每次创建新的缓存条目时,都会为其分配一个在给定范围内的随机TTL。


缓存击穿中的互斥锁问题

显而易见,随机TTL带来的风险比较小,我们可以暂时忽略它,但是,互斥锁,真的是可以随意使用吗?

互斥锁在解决缓存击穿问题上是很有用的,但是不应该盲目地在每一个键上都使用它。以下是考虑使用互斥锁的情境:

  1. 热门的键:如果一个键非常热门,并且在其缓存条目过期后预期会有大量并发请求,那么为这样的键设置互斥锁是有意义的。

  2. 高代价的数据加载:如果从数据源加载数据(例如从数据库或其他服务)的代价非常高,那么即使键不是特别热门,也可能值得使用互斥锁来避免多次并发加载。

  3. 高并发环境:在高并发环境中,即使某些键不是每时每刻都很热门,它们也可能在某个时间点突然变得很受欢迎。在这种情况下,互斥锁也可以提供帮助。

然而,如你所提到的,使用互斥锁也有一些开销:

  • 性能开销:当多个线程因为锁而被迫等待时,会有一定的性能损失。

  • 资源消耗:锁机制需要额外的资源来管理。

  • 增加复杂性:引入锁机制可能会使代码和系统架构变得更加复杂。

综上所述,确实不建议在所有键上都使用互斥锁。它应当被视为一个工具,只在确实需要时使用而不是一种普遍的策略。在决定使用互斥锁之前,应该根据具体应用的需求和场景进行深入的评估。


作者对待互斥锁的方式

对于作者简单的系统,互斥锁暂时是用不了。但作者本着“学都学了”的原则,考虑在测试中模拟缓存击穿问题,然后验证互斥锁的能力。下面是一个简单的方法来模拟和测试:

  1. 创建一个热门的键:选择一个经常被查询的数据对象,例如一个特定的User对象。

  2. 手动清除这个键的缓存:使用Spring的CacheManager手动清除特定的缓存键值。

  3. 使用压力测试工具:使用Apache JMeter压力测试工具,创建大量并发的请求来查询这个User对象。

  4. 观察没有互斥锁时的表现

    • 检查数据库的负载和查询次数
    • 观察响应时间
  5. 启用互斥锁:在查询这个User对象的方法上加上@Cacheable(sync = true)

  6. 再次执行压力测试:与第3步相同,创建大量并发请求。

  7. 观察有互斥锁时的表现

    • 再次检查数据库的负载和查询次数。理论上,查询次数应该大大减少
    • 观察响应时间。可能会看到稍微增加的响应时间,因为一些请求可能在等待锁。不过也不一定,响应时间也可能会比没有互斥锁的情况要快,特别是在高并发情况下,一旦缓存被成功填充,后续的请求将会得到非常快的响应时间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/117240.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot - 启动主要流程

Spring Boot的启动主要流程可以概括为以下几个步骤&#xff1a; 加载Spring Boot配置&#xff1a; Spring Boot应用的启动从加载配置开始。Spring Boot会读取application.properties或application.yml等配置文件&#xff0c;将配置信息加载到Spring的Environment中&#xff0c;…

IOS屏幕旋转监听

IOS屏幕旋转 1.设计窗口,添加三个按钮 2.添加事件连接 3.按钮点击事件实现 先添加三个IBAction 实现IBAction 使用旋转立刻生效 -(IBAction)btnFixPortrait:(id)sender{//访问应用程序委托成员_app.mask UIInterfaceOrientationMaskPortrait;//设置窗口旋转属性[self setN…

企业安全—SDL概述篇

0x00 前言 众所周知&#xff0c;从源头开始就开发安全的代码&#xff0c;比产品已经成型之后付出的代价要小很多&#xff0c;也就是一直在说的安全左移的概念。最好就是从一开始&#xff0c;大家就用最安全的代码&#xff0c;或者是框架&#xff0c;那么开发出来的产品必然会减…

git rebase -i 详解

git rebase 命令简介 git rebase命令允许我们轻松地更改一系列提交&#xff0c;修改存储库的历史记录。我们可以重新排序、编辑或合并提交。一般常用git rebase来合并当前分支的多个commit记录&#xff08;压缩&#xff09;以及避免出现分支的交叉合并&#xff08;变基&#x…

ChatGPT课件汇总介绍

第二节:有效管理 Token,充分发挥 ChatGPT 的能力 OpenAI 官方计算token的测试地址:https://platform.openai.com/tokenizer 第三节:探索ChatGPT在不同领域的创新应用 1、小说撰写 1、我希望你能作为一个小说家。我会给你一个主题,请写出有创意的、吸引人的故事,能够长时…

MongoDB 学习笔记(基础)

概论 出现背景&#xff1a;MongoDB 是文档型数据库&#xff0c;由于传统的关系型数据库&#xff08;如 MySQL&#xff09;&#xff0c;在数据操作的“三高”需求以及应对 web 的网站需求面前显得有些吃力&#xff0c;在此环境下 MongoDB 出世了 三高需求&#xff1a; (1) 对数…

进程的优先级与LAMP项目部署实战

一、进程的优先级&#xff08;扩展&#xff09; 1、什么是进程的优先级 Linux是一个多用户、多任务的操作系统&#xff0c;系统中通常运行着非常多的进程。哪些进程先运行&#xff0c;哪些进程后运行&#xff0c;就由进程优先级来控制 思考&#xff1a;什么时候需要用到进程…

力扣-python-两数相加

题解 1: # Definition for singly-linked list. # class ListNode(object): # def __init__(self, val0, nextNone): # self.val val # self.next nextclass Solution(object):def addTwoNumbers(self, l1, l2):""":type l1: ListNode:t…

【MATLAB源码-第56期】基于WOA白鲸优化算法和PSO粒子群优化算法的三维路径规划对比。

操作环境&#xff1a; MATLAB 2022a 1、算法描述 1.粒子群算法&#xff08;Particle Swarm Optimization&#xff0c;简称PSO&#xff09;是一种模拟鸟群觅食行为的启发式优化方法。以下是其详细描述&#xff1a; 基本思想&#xff1a; 鸟群在寻找食物时&#xff0c;每只鸟都…

2023-10-17 LeetCode每日一题(倍数求和)

2023-10-17每日一题 一、题目编号 2652. 倍数求和二、题目链接 点击跳转到题目位置 三、题目描述 给你一个正整数 n &#xff0c;请你计算在 [1&#xff0c;n] 范围内能被 3、5、7 整除的所有整数之和。 返回一个整数&#xff0c;用于表示给定范围内所有满足约束条件的数…

华纳云:连接mysql出现2059错误怎么解决

MySQL连接错误2059通常表示MySQL服务器拒绝了连接。这种错误可能由多种原因引起&#xff0c;以下是一些可能的解决方法&#xff1a; 检查MySQL服务器是否正在运行&#xff1a; 确保MySQL服务器正在正常运行。您可以使用以下命令检查MySQL服务器的状态&#xff1a; systemctl st…

Object.prototype.toString.call() 和 instanceOf 和 Array.isArray() 详解

解析: 理解 Object.prototype.toString.call(), instanceof, 和 Array.isArray() 是 JavaScript 中重要的类型检查工具。以下是一个较为详细的解释和示例代码&#xff0c;帮助你理解它们的工作原理和使用场景 Object.prototype.toString.call()&#xff1a; Object.prototyp…

rust - 理解borrow trait

简介 borrow trait 是处理借用(即其它语言中的引用)的 trait,变量的所有权不会转移.泛型定义如下: pub trait Borrow<Borrowed: ?Sized> {/// Immutably borrows from an owned value.fn borrow(&self) -> &Borrowed; }其中包含一个 borrow(&self)的方…

动手学深度学习—含并行连结的网络GoogLeNet(代码详解)

目录 1. Inception块3. GoogLeNet模型3. 训练模型 GoogLeNet吸收了NiN中串联网络的思想&#xff0c;并在此基础上做了改进&#xff0c;并且在2014年的ImageNet图像识别挑战赛中获得了不错的效果。 1. Inception块 GoogLeNet论文解决了多大的卷积核最合适的问题。 Inception块…

PHP 在线考试管理系统mysql数据库web结构layUI布局apache计算机软件工程网页wamp

一、源码特点 PHP 在线考试管理系统是一套完善的web设计系统 layUI技术布局 &#xff0c;对理解php编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。 PHP 在线考试系统1 代码 https://download.csdn.net/download/qq_41…

【C++面向对象】5. this指针

文章目录 【 1. 基本原理 】【 2. 实例 】 【 1. 基本原理 】 在 C 中&#xff0c;只有成员函数才有 this 指针&#xff08;友元函数没有 this 指针&#xff0c;因为友元不是类的成员&#xff09;&#xff0c;this 指针是所有成员函数的隐含参数。 在成员函数内部&#xff0c;…

线性表操作的实现--顺序表

本文参考朱战力老师的数据结构与算法--使用C语言一书 文章目录 前言 一、线性表是什么&#xff1f; 二、具体实现 1.顺序表的定义 2.初始化ListInitiate&#xff08;L&#xff09; 3.求当前元素个数ListLength&#xff08;L&#xff09; 4.插入元素ListInsert&#xff08;L&…

[卷积神经网络]FasterNet论文解析

一、概述 FasterNet是CVPR2023的文章&#xff0c;通过使用全新的部分卷积PConv&#xff0c;更高效的提取空间信息&#xff0c;同时削减冗余计算和内存访问&#xff0c;效果非常明显。相较于DWConv&#xff0c;PConv的速度更快且精度也非常高&#xff0c;识别精度基本等同于大型…

iOS 配置通用链接(Universal Link)服务端和开发者后台都配置好了,还是跳转不到App

目录 一、什么是 Universal Link&#xff1f; 1.背景介绍 2.特点 3.运行机制原理&流程图 二、配置教程 1.第一步&#xff1a;开启 Associated Domains 服务 1.1 开通 Associated Domains 2.第二步&#xff1a;服务器配置 apple-app-site-association&#xff08;AAS…

【makedown使用介绍】

如何使用makedown 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必…