关于缓存 db redis local 取舍之道

文章目录

  • 前言
  • 一、影响因素
  • 二、db or redis or local
    • 1.db
    • 2.redis
    • 3. local
  • 三、redisson 和 CaffeineCache 封装
    • 3.1 redisson
      • 3.1.1 maven
      • 3.1.2 封装
      • 3.1.3 使用
    • 3.2 CaffeineCache
      • 3.1.1 maven
      • 3.1.2 封装
      • 3.1.3 使用
  • 总结


前言

让我们来聊一下数据缓存,它是如何为我们带来快速的数据响应的。你知道吗,为了提高数据的读取速度,我们通常会引入数据缓存。但是,你知道吗,不是所有的数据都适合缓存,有些数据更适合直接从数据库查询。现在,我们就来一起讨论一下,什么样的数据适合直接从数据库查询,什么样的数据适合从缓存中读取。这将有助于我们更好地利用缓存,提高系统的性能。让我们开始吧!

一、影响因素

当涉及到数据查询和缓存时,有几个因素可以考虑来确定什么样的数据适合直接从数据库查询,什么样的数据适合从缓存中读取。

  • 访问频率:如果某个数据被频繁访问,且对实时性要求不高,那么将其缓存在内存中会显著提高响应速度。这样的数据可以是经常被查询的热点数据,比如网站的热门文章、商品信息等。

  • 数据更新频率:如果某个数据经常发生更新,那么将其缓存可能导致缓存和数据库中的数据不一致。对于这种情况,最好直接从数据库中查询最新数据。比如用户个人信息、订单状态等经常变动的数据。

  • 数据大小:较大的数据对象,如图片、视频等,由于其体积较大,将其缓存到内存中可能会占用大量资源。这种情况下,可以将这些数据存储在分布式文件系统或云存储中,并通过缓存存储其访问路径或标识符。

  • 数据一致性:一些数据在不同地方的多个副本可能会导致一致性问题。对于需要保持强一致性的数据,建议直接从数据库查询。而对于可以容忍一定程度的数据不一致的场景,可以考虑将数据缓存。

  • 查询复杂度:某些复杂的查询操作可能会消耗大量的计算资源和时间,如果这些查询结果需要频繁访问,可以将其缓存,避免重复计算,提高响应速度。

需要注意的是,数据缓存并非适用于所有情况。缓存的使用需要谨慎,需要权衡数据的实时性、一致性和存储成本等方面的需求。此外,对于缓存数据的更新和失效策略也需要考虑,以确保缓存数据的准确性和及时性。

综上所述,数据适合直接从数据库查询还是缓存读取,取决于数据的访问频率、更新频率、大小、一致性要求和查询复杂度等因素。在实际应用中,需要根据具体情况进行综合考虑和合理选择。

二、db or redis or local

1.db

  • 查询复杂度低
  • 字段少
  • sql执行效率高
  • 实时性高

通常数据库适合查询字典类型数据,如类似 key value 键值对,数据更新频繁,实时性高的数据。
对于sql效率高的查询,redis查询不一定比db查询快。

2.redis

  • 查询复杂度高
  • 字段相对不多
  • 实时性低

Redis适合查询复杂度较高、实时性要求较低的数据。当SQL查询效率较低,或者需要进行字段code和value的转换存储时,Redis可以提供更高效的查询方式。不过,需要注意的是,Redis的主要瓶颈在于数据的序列化和反序列化过程。如果数据量较大,包含大量字段或者数据量巨大,那么Redis的查询速度可能不一定比数据库快,当然此时数据库本身执行效率也低。在这种情况下,我们需要综合考虑数据的复杂度、实时性要求以及数据量的大小,选择最适合的查询方式。有时候,可能需要在数据库和Redis之间进行权衡和折中,以找到最佳的性能和效率平衡点。因此,为了提高查询速度,我们需要根据具体的业务需求和数据特性,选择合适的存储和查询方案。

3. local

  • 查询复杂度高
  • 字段多
  • 实时性低

本地缓存通常是最快的。它可以在内存中直接读取数据,速度非常快。然而,由于受限于内存大小,本地缓存的数据量是有限的。对于那些数据库和Redis难以处理的大型数据,我们可以考虑使用本地缓存。通过将一部分频繁访问的数据存储在本地缓存中,可以大大提高系统的响应速度。这样,我们可以在不牺牲太多内存资源的情况下,快速获取到需要的数据。当然,需要注意的是,由于本地缓存的数据是存储在内存中的,所以在服务器重启或缓存过期时,需要重新从数据库或Redis中加载数据到本地缓存中。因此,在使用本地缓存时,需要权衡数据的大小、更新频率以及内存资源的限制,以获得最佳的性能和可用性。

三、redisson 和 CaffeineCache 封装

提供缓存查询封装,查询不到时直接查数据库后存入缓存。

3.1 redisson

3.1.1 maven

        <dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId></dependency>

3.1.2 封装

import cn.hutool.core.util.ObjectUtil;
import cn.hutool.core.util.StrUtil;
import cn.hutool.json.JSONUtil;
import com.cuzue.common.core.exception.BusinessException;
import com.cuzue.dao.cache.redis.RedisClient;
import org.redisson.api.RBucket;
import org.redisson.api.RKeys;
import org.redisson.api.RedissonClient;import java.util.List;
import java.util.concurrent.TimeUnit;
import java.util.function.Supplier;public class RedisCacheProvider {private static RedissonClient redissonClient;public RedisCacheProvider(RedissonClient redissonClient) {this.redissonClient = redissonClient;}/*** 从redissonClient缓存中取数据,如果没有,查数据后存入** @param key         redis key* @param dataFetcher 获取数据* @param ttl         缓存时间* @param timeUnit    缓存时间单位* @param <T>* @return 数据*/public <T> List<T> getCachedList(String key, Supplier<List<T>> dataFetcher, long ttl, TimeUnit timeUnit) {if (ObjectUtil.isNotNull(redissonClient)) {// 尝试从缓存中获取数据List<T> cachedData = redissonClient.getList(key);if (cachedData.size() > 0) {// 缓存中有数据,直接返回return cachedData;} else {// 缓存中没有数据,调用数据提供者接口从数据库中获取List<T> data = dataFetcher.get();cachedData.clear();cachedData.addAll(data);// 将数据存入缓存,并设置存活时间// 获取 bucket 对象,为了设置过期时间RBucket<List<T>> bucket = redissonClient.getBucket(key);// 为整个列表设置过期时间bucket.expire(ttl, timeUnit);// 返回新获取的数据return data;}} else {throw new BusinessException("redissonClient has not initialized");}}/*** 删除缓存** @param key redis key*/public void deleteCachedList(String systemName, String key) {if (ObjectUtil.isNotNull(redissonClient)) {RKeys keys = redissonClient.getKeys();keys.deleteByPattern(key);} else {throw new BusinessException("redis client has not initialized");}}
}

3.1.3 使用

启动类添加:@Import({RedissonConfig.class})
直接引用:


@Resource
private RedissonClient redissonClient;//缓存数据获取
public List<MatMaterialsResp> listCache(ListQO qo) {RedisCacheProvider cache = new RedisCacheProvider(redissonClient);List<MatMaterialsResp> resps = cache.getCachedList("testList", () -> {// 缓存数据查询}, 20, TimeUnit.SECONDS);return resps;
}

3.2 CaffeineCache

也可以使用hashMap

3.1.1 maven

       <dependency><groupId>com.github.ben-manes.caffeine</groupId><artifactId>caffeine</artifactId><version>3.0.5</version></dependency>

3.1.2 封装

CaffeineCache<K, V>

import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;
import com.github.benmanes.caffeine.cache.Weigher;import java.util.concurrent.TimeUnit;
import java.util.function.Function;public class CaffeineCache<K, V> {private final Cache<K, V> cache;/*** 不过期缓存** @param maxSize 缓存条目数量 注意对象大小不要超过jvm内存*/public CaffeineCache(long maxSize) {this.cache = Caffeine.newBuilder().maximumSize(maxSize).build();}/*** 初始化Caffeine** @param maxSize* @param expireAfterWriteDuration* @param unit*/public CaffeineCache(long maxSize, long expireAfterWriteDuration, TimeUnit unit) {this.cache = Caffeine.newBuilder().maximumSize(maxSize).expireAfterWrite(expireAfterWriteDuration, unit).build();}/*** 初始化Caffeine 带权重** @param maxSize* @param weigher                  权重* @param expireAfterWriteDuration* @param unit*/public CaffeineCache(long maxSize, Weigher weigher, long expireAfterWriteDuration, TimeUnit unit) {this.cache = Caffeine.newBuilder().maximumSize(maxSize).weigher(weigher).expireAfterWrite(expireAfterWriteDuration, unit).build();}public V get(K key) {return cache.getIfPresent(key);}public void put(K key, V value) {cache.put(key, value);}public void remove(K key) {cache.invalidate(key);}public void clear() {cache.invalidateAll();}// 如果你需要一个加载功能(当缓存miss时自动加载值),你可以使用这个方法public V get(K key, Function<? super K, ? extends V> mappingFunction) {return cache.get(key, mappingFunction);}// 添加获取缓存统计信息的方法public String stats() {return cache.stats().toString();}
}

LocalCacheProvider

import cn.hutool.core.util.ObjectUtil;
import com.cuzue.dao.cache.localcache.CaffeineCache;import java.util.List;
import java.util.concurrent.TimeUnit;
import java.util.function.Function;
import java.util.function.Supplier;/*** 本地缓存*/
public class LocalCacheProvider {private static CaffeineCache cache;/*** 无过期时间* @param maxSize 缓存最大条数*/public LocalCacheProvider(long maxSize) {cache = new CaffeineCache(maxSize);}/*** 带过期时间* @param maxSize 缓存最大条数* @param ttl 过期时间* @param timeUnit 时间单位*/public LocalCacheProvider(long maxSize, long ttl, TimeUnit timeUnit) {cache = new CaffeineCache(maxSize, ttl, timeUnit);}public static <T> List<T> getCachedList(String key, Supplier<List<T>> dataFetcher) {if (ObjectUtil.isNotNull(cache.get(key))) {return (List<T>) cache.get(key);} else {List<T> data = dataFetcher.get();cache.put(key, data);return data;}}public static <T> List<T> getCachedList(String key, Function<String, List<T>> dataFetcher) {return (List<T>) cache.get(key, dataFetcher);}/*** 删除缓存** @param key redis key*/public void deleteCachedList(String key) {cache.remove(key);}
}

3.1.3 使用

//初始化caffeine对象
LocalCacheProvider cache = new LocalCacheProvider(5000, 20, TimeUnit.SECONDS);//缓存数据获取
public List<MatMaterialsResp> listLocalCache(ListQO qo) {List<MatMaterialsResp> resps = cache.getCachedList("testList", (s) -> {// 缓存数据查询});return resps;
}

注意:Caffeine 实现的缓存占用 JVM 内存,小心 OutOfMemoryError

解决场景:
1.本地缓存适用不限制缓存大小,导致OOM,适合缓存小对象
2.本地缓存长时间存在,未及时清除无效缓存,导致内存占用资源浪费
3.防止人员api滥用, 未统一管理随意使用,导致维护性差等等

总结

从前的无脑经验,db查询慢,redis缓存起来,redis真不一定快!
一个简单性能测试:(测试响应时间均为二次查询的大概时间)

  1. 前置条件: 一条数据转换需要200ms,共5条数据,5个字段项,数据量大小463 B
db > 1s
redis > 468ms
local > 131ms
  1. 去除转换时间,直接响应
db > 208ms
redis > 428ms
local > 96ms

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/640994.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C/C++】C/C++编程——为什么学习 C++?

当提到C的时候&#xff0c;很多人会觉得语法复杂、学习曲线陡峭&#xff0c;并且好像与C语言还有点"纠缠不清"。尽管如此&#xff0c;C仍然是当今世界上最受欢迎和最有影响力的编程语言之一。特别是在当今快速发展的人工智能&#xff08;AI&#xff09;领域&#xff…

【Java 设计模式】行为型之命令模式

文章目录 1. 定义2. 应用场景3. 代码实现结语 命令模式&#xff08;Command Pattern&#xff09;是一种行为型设计模式&#xff0c;用于将请求封装为对象&#xff0c;使得可以参数化客户端对象&#xff0c;并且能够排队、记录请求&#xff0c;以及支持撤销操作。在本文中&#…

R基础语法

1.变量 命名规则&#xff1a; R语言中变量可以由字母&#xff0c;数字以及点号.或下划线_组成。以字母或点开头。不能以数字开头。一些特殊的符号不能在名称中出现&#xff0c;如%&#xff0c;$等。区分大小写&#xff0c;如name和Name是两个变量。 可用名称不可用名称a1tri…

vue3前端开发,如何引入element-plus前端框架及配置参数

vue3前端开发,如何引入element-plus前端框架及配置参数&#xff01;这是一个简单的教程&#xff0c;帮助大家快速在自己的项目中引入element-plus框架。 主要是介绍的引入流程和参数的配置情况。 如图&#xff0c;这个就是elment-plus前端框架里面的一个主按钮展示。表示我们配…

NodeJs 第二十章 代理

在计算机网络中&#xff0c;代理是一种中间服务&#xff0c;能够代理用户与网络资源之间的通信。代理服务器可以缓存网页内容、过滤网络流量或隐藏用户的真实IP地址等功能。 在日常开发中&#xff0c;我们接触最多的是客户端发送ajax到服务端。但是服务端并不是 node &#xf…

pod 报错Failed to connect to github.com port 443

pod 报错Failed to connect to github.com port 443 1、排查代理问题1.1、查找网络代理1.2、修改 Git 的代理 2、排查DNS解析问题2.1、查找 ip地址2.2、修改 host 文件 1、排查代理问题 1.1、查找网络代理 打开 设置 --> 网络与Internet --> 查找代理 1.2、修改 Git …

k8s中服务器容器tcp连接数量优化

netty的http1服务器在运行一段时间后会无法提供服务&#xff0c;返回客户端socket hang up 使用apipost测试抓包显示三次握手后被reset 修改net/core/somaxconn 登录容器&#xff0c;cat /proc/sys/net/core/somaxconn显示128&#xff0c;对于一个服务器来说&#xff0c;这个…

第26章 内积继续深入讲解,一点叉乘

只要思想敢滑坡&#xff0c;办法总比想法多。 之前讲了内积的来源&#xff0c;现在继续讲在矩阵中为什么会有&#xff0c;对应坐标相乘的内积表现方式&#xff0c;还是需要复数的存在&#xff0c;现在就现在一个矩阵中讲&#xff0c;在一维的矩阵&#xff0c;这个矩阵就先全部…

Git提交大文件报错“remote: Please remove the file from history and try again. ”

如在使用Git过程中不小心将较大的二进制文件加入仓库&#xff0c;那么仓库大小很快就会超过规定的配额&#xff0c;在Push的时候会报下面的错误&#xff1a; remote: Powered by GITEE.COM [GNK-6.4] remote: error: File: c91e5de4f55bedd0669db01036fc131ea8e516ce 130.66 MB…

PLAN方法:解决 GAN 生成医学图像 Latent 空间中的隐私保护方法

PLAN方法&#xff1a;解决 GAN 生成医学图像 Latent 空间中的隐私保护方法 PLAN 原理StyleGAN 生成视网膜图k-SALSA 生成视网膜图PLAN方法 生成视网膜图 总结 PLAN 原理 论文&#xff1a;https://arxiv.org/abs/2307.02984 代码&#xff1a;https://github.com/perceivelab/P…

kingbase常用SQL总结之统计大小

概述 数据库运维中&#xff0c;我们需要总结一些常用的SQL语句&#xff0c;无论是日常巡检、故障排查或是死锁分析&#xff0c;都可以随时拿来用&#xff0c;提升工作效率&#xff0c;下面是一些常见的经典SQL或者是笔者自己工作过程中用到的常用的SQL,整理记录以备不时之需。…

SpringBoot 统计更多Api接口日志信息

第1步&#xff1a;基本配置了解 Further Reading &#xff1a; SpringBoot 统计API接口用时该使用过滤器还是拦截器? 第2步&#xff1a;丰富LogInterceptor&#xff08;主体流程&#xff09; 日志打印放afterCompletion是为了兼容异常场景也可以记录日志 import com.zhang…

【LeetCode27】 移除元素

27. 移除元素 快慢型双指针 给你一个数组 nums 和一个值 val&#xff0c;你需要 原地 移除所有数值等于 val 的元素&#xff0c;并返回移除后数组的新长度。 不要使用额外的数组空间&#xff0c;你必须仅使用 O(1) 额外空间并 原地 修改输入数组。 元素的顺序可以改变。你不…

vulhub之redis篇

CVE-2022-0543 | redis的远程代码执行漏洞 简介 CVE-2022-0543 该 Redis 沙盒逃逸漏洞影响 Debian 系的 Linux 发行版本,并非 Redis 本身漏洞, 漏洞形成原因在于系统补丁加载了一些redis源码注释了的代码 原理分析 redis一直有一个攻击面,就是在用户连接redis后,可以通过ev…

企业微信开发:本地运行一个页面应用

问题 在开发环境本地运行一个页面应用&#xff0c;将网页URL配置到企业微信的应用主页网址中&#xff0c;此时应用在企业微信中能够正常打开网页吗&#xff1f; 结论是&#xff1a;能够正常访问页面。 能够访问的前提 能够访问的前提条件&#xff0c;企业微信客户端所在的网…

界面控件DevExpress ASP.NET Data Grid组件 - 可快速处理各类型数据!(一)

由DevExpress开发的快速且功能完整的ASP.NET Web Forms的Data Grid组件&#xff0c;从全面的数据塑造和数据过滤选项到十多个集成数据编辑器&#xff0c;该套件提供了帮助用户构建极佳数据所需的一些&#xff0c;没有限制&#xff01; P.S&#xff1a;DevExpress ASP.NET Web …

k8s--helm

什么是helm&#xff1f;在没有这个helm之前&#xff0c;deployment service ingress helm的作用 通过打包的方式&#xff0c;把deployment service ingress等打包在一块&#xff0c;一键式的部署服务&#xff0c;类似yum安装 官方提供的一个类似与安装仓库额功能&#xff0c;…

Linux C语言开发(十)vim基本操作

目录 一.什么是vim 二.vim的进入与退出 三.vim的基本模式 四.vim的命令行模式操作

SPA vs MPA vs PWA

1、单页面应用程序&#xff08;SPA&#xff09; ① 什么是 SPA SPA 全称为 Single-Page Application&#xff0c;表示单页面应用程序。 也就是说只有一个 HTML 文件的 Web 应用&#xff0c;我们通过 Vue 开发的项目其实就是典型的 SPA应用 在单页面应用程序中&#xff0c;我…

C语言——结构体讲解

目录 一、结构体类型的声明 二、结构体变量的定义和初始化 三、结构体的重命名 四、结构体的自引用 五、结构体内存对齐 六、结构体传参 七、结构体实现位段 7.1 什么是位段 7.2 位段的声明和使用 7.3 位段的空间大小计算 7.4 位段的内存分配 7.5 位段的跨平…