降低Redis内存使用和提升性能的一些方案

前言
一、前言

Redis在现在开发中已经成为了一个不可或缺的组件,很多项目都会依赖Redis进行开发,当数据量和请求量以及Redis本身访问率不高的情况下,Redis不会成为性能瓶颈,但是如果本身处于高并发海量数据这些情况下,即便是Redis,也会成为性能瓶颈中的一环,本文就是基于Redis已经成为我项目中的一个性能瓶颈之后,深入研究后产生的,另外本文主要是针对开发过程中如何降低Redis内存使用率以及整体提升代码性能,不涉及到Redis集群搭建相关性能调优

二、降低内存占用
a)减少key长度

首先key本身也是存在redis内存中的,每条数据增加2个字节的长度,成百上千万数据加起来,就占用了不少的内存了,所以需要尽可能的缩减key的长度,能保证key唯一性就好,没有必要把一些前缀设置很长或者使用英文全称

b)合理的缓存有效期

让缓存在不被使用时尽快过期,避免占用内存,如果有大量缓存在业务中不会被使用,或者缓存从生效到不被使用只有1小时,但是缓存有效期却设置的1天,那么就会导致大量无用缓存占用大量内存,所以一定要合理评估每一个缓存的生命周期。当内存资源明显紧张超过CPU等资源时,可以采取主动删除明确不使用的缓存,或者针对热点周期进行缓存生命周期配置,并配置好合理的恢复缓存机制

示例:

1.主动删除缓存

假如有以下场景:某商城,下单订单时需要先预览订单,并且生成订单逻辑复杂,且订单量大,所以预览订单时会先生成订单缓存,创建订单后,因为某些业务还需要快速访问订单,如发起支付时获取金额信息以及验证等,并且支付有效期有1天,也就是如果没有支付,一天内发起支付的可能性较大,需要快速获取相关信息。 如果用固定有效期1天的话,那么其实在订单支付之后,访问订单详情概率变很低,也就是说一旦订单支付完成,订单详情基本上不访问,那么就可以采取主动删除缓存的方式。首先创建缓存的时候,设置缓存有效期是1天,同时订单真正创建时候时候,更新缓存为1天(支付有效期1天),在订单被支付之后,则主动删除缓存(如果还有跳转页面并且需要通过缓存获取订单详情的,则设置一个接口完全可以获取到时间)。这样如果订单没有支付,那么一天内还是可以快速访问到这个订单的缓存信息,如果被支付,因为基本上不访问了,缓存也能尽快过期避免占用内存

2.热点周期模式

假设还是上面商城,场景稍作变换,订单支付完成之后,其实很多人会很习惯的关注订单进度(会查看订单详情),但是有些人其实不关心,买完就不管,而查看的正常来说每天会关注几次,知道收货之后,那我们可以模拟TTI的方式(Redis本质上是没有TTI的),在我们每次通过Redis获取到缓存之后,重新设置缓存有效期为1天,这样可以让热点数据一直处于相对有效,当没有获取到数据时,就从数据库等其他地方查询并缓存

c)合理的结构

存放在Redis的数据结构尽可能缩减,避免无用字段进入缓存,比如常见的直接用数据库对应实体类对象直接存放到Redis,导致很多无用字段也进行了缓存,如一些乐观锁、创建时间等字段,精简缓存到满足业务需求即可。尽可能保证每个字段都是业务能用上的

d)合理的序列化

业务中常见的是把对象缓存到Redis中,而缓存对象,就会涉及到序列化,常见的序列化方式有json、默认序列化、kryo等,选择合适的序列化不仅能提升程序运行速度,还能降低内存占用,当然不同的结构也会影响不同的序列化对于内存占用的影响比例,所以具体选择那种序列化也需要根据自己实际情况做选择,但是通常情况下,加入对象中有10个字段,那么大概率内存占用是Java默认序列化 > json > kryo,但是不同的序列化也会产生很多其他问题,比如可读性和通用性,如果这个Redis缓存并不只是一种语言的程序会访问,那么就要考虑采用多种语言都能序列化的方式了

e)数据压缩

很多缓存数据可能本身只是一个字符串,或者因为通用性问题最终选择了json格式的序列化,那么也可以通过压缩来降低内存占用,但是目前redis本身是不支持压缩的,所以只能是在客户端进行压缩和解压操作,但是压缩和解压会带来额外的CPU消耗

三、提升性能
a)选择合适的客户端

常见的有Jedis、Lettuce(现在Spring的默认客户端)、Redisson,每个客户端都有自己的优劣,可以根据实际情况进行选择

b)合适的序列化

不同序列化方式也是有差异的,虽然差异很小,但是如果是海量操作,哪怕很小的差异,也是能提升不小的时间成本的,但是序列化也会影响内存占用,并且如果访问量很大的情况下,通常缓存的key也不会小,所以要在内存和性能中做平衡,但是相对来说,序列化本身是在客户端实现的,而客户端的CPU资源相对来说更容易扩展,所以大部分情况下序列化还是考虑内存占用为主

c)合理的压缩和缩减数据

首选Redis是以服务形式存在的,并且正常来说Redis是会有专门的服务器,所以如果访问量很大,并且数据本身也不少的话,网络IO也会成为性能瓶颈的一环,所以如果保存的内容越小,传输也会更快,更不容易造成网络阻塞

d)批量操作

批量操作包括批量保存和批量获取以及一些其他条件性的保存等,如果业务可以通过批量操作的方式来实现,尽可能使用批量操作,首先批量保存和获取是常用客户端已经支持的操作,同时如果是一些原子性的操作或者有条件判断的,可以利用lua脚本来实现,目前常用的客户端也是支持lua脚本的操作的,比如常见的判断某个key1是否存在,如果存在则保存key2的数据,如果不存在则删除key1的数据这些都可以通过lua脚本实现,这样不仅降低了网络占用,同时还能保证当前不会有并发问题,比如判断key1的时候,key1的确不存在,但是当你写入key2的时候,key1却存在了,但是使用lua脚本就不会有这种问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22631.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

伏图(Simdroid)5.0 电子散热模块介绍

伏图-电子散热模块(Simdroid-EC)是云道智造基于通用多物理场仿真PaaS平台伏图开发的针对电子元器件、设备等散热的专用热仿真模块,内置电子产品专用零部件模型库,支持用户通过“搭积木”的方式快速建立电子产品的热分析模型&#…

Facebook开户|如何科学高效投放Facebook Ads

中午好家人们~今天Zoey来聊聊如何科学高效投放Facebook Ads~ 一、定义目标受众 在开始广告投放之前,需要明确定义你的目标受众。你可以根据受众的年龄、性别、兴趣、行为以及他们所在的地理位置等信息来确定目标受众。这样有助于创建精准的广告,并确保广…

下载Keil芯片包的方法

Keil里面弹出来的这个蓝色超链接,没梯子不要用edge浏览器 Arm Keil | Devices

对接专有钉钉(浙政钉)登陆步骤

背景 因为项目需要对接浙政钉,我想应该和之前对接阿里云的钉钉登陆钉钉登陆类似,就上网搜索看看,出现了个专有钉钉的概念,就一时间搞不清楚,钉钉,专有钉钉,浙政钉的区别,后续稍微理…

儿童护眼灯什么牌子好点?五款儿童护眼灯品牌推荐

儿童护眼灯什么牌子好点?根据往年的统计,我国青少年近视率位居世界第一,儿童青少年总体近视率达到了52.7%。其中,6岁儿童的近视率为14.5%,小学生为36.0%,初中生为71.6%,高中生为81%。造成近视的…

基于STM32的位置速度环PID控制伺服电机转动位置及程序说明

PID控制原理 PID控制原理是一种广泛应用于工业自动化和其他领域的控制算法。PID控制器的名字来源于其三个主要组成部分:比例(Proportional)、积分(Integral)和微分(Derivative)。PID控制器实现…

Go方法特性详解:简单性和高效性的充分体现

本文深入探讨了Go语言中方法的各个方面,包括基础概念、定义与声明、特性、实战应用以及性能考量。文章充满技术深度,通过实例和代码演示,力图帮助读者全面理解Go方法的设计哲学和最佳实践。 关注作者,分享互联网架构、云服务技术的…

excle中数据分析,excle导入用sql简单处理

前言: 办法一:直接用excle导入db就行,如果excle导如db不能用,就用笨办法下面这个方法去做 1、从系统中导出excle 2、db中插入相应的表和标题 3、先手动插入条件,把insert语句复制出来 INSERT INTO test.test (orders…

Linux 命令 `diff` 的深度解析

Linux 命令 diff 的深度解析 在 Linux 系统中,diff 命令是一个非常重要的工具,用于比较两个文件或目录的差异。无论是代码审查、版本控制还是日常的文件管理,diff 命令都能为我们提供极大的便利。下面,我们将详细解析 diff 命令的…

呼叫中心系统一些常用的功能都有哪些?okcc呼叫中心磐石云pscc呼叫中心

批量上传数据 号码、客户信息一键导入,自动识别归属地等信息,可指定范围呼叫号码。 可视化流程编辑 在线可视化流程编辑,仅需轻轻拖拽便可创建外呼话术流程,话术预览、设置机器人回答机制、外呼测试一步搞定! 真人声音…

Objective-C相关开发中, 为什么 delegate protocol 不建议单独写一个头文件 ?

概述 将 delegate protocol 定义放在与相关类的头文件中,有助于保持代码组织的一致性、减少编译依赖、避免命名冲突,并增强逻辑上的一致性。这些因素综合起来,使得这种做法在 Objective-C 开发中被广泛推荐。 在 Objective-C 开发中&#xf…

动态规划详细解释

动态规划(Dynamic Programming,简称DP)是一种用于解决复杂问题的算法思想,特别适用于具有重叠子问题和最优子结构性质的问题。它通过将问题分解为更小的子问题,并保存这些子问题的解以避免重复计算,从而提高…

【人工智能】第五部分:ChatGPT的实际应用案例和未来发展方向

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

HR问你为什么从上家公司离职,你该如何应对?

离职这件事,大佬曾经说过,要么是钱没给到位,要么是心受委屈了。但其实现实场景中,离职原因多种多样,比如这些北漂一组们,不想在北京了,要回老家了,或者要去天津了,这也算一种原因吧。比如考上公务员了,你说如果是你,你会不会离职呢?比如某个同事干测试,经过学习一…

【Javascript系统学习】(二)

函数 定义函数 函数提升仅适用于函数声明&#xff0c;而不适用于函数表达式 函数声明 函数表达式 //例子1 const factorial function fac(n) {return n < 2 ? 1 : n * fac(n - 1); };console.log(factorial(3)); // 6 //factorial(n)、fac(n)、arguments.callee() ----…

Linux基础 (十三):计算机网络基础概论

一、网络基本概念 1.1 网络 把独立自主的计算机通过传输介质和网络设备链接起来&#xff0c;就构成一个网络 &#xff0c;网络是由若干结点和连接这些结点的链路组成&#xff0c;网络中的结点可以是计算机&#xff0c;交换机、 路由器等设备。 网络设备有&#xff1a;交换机、…

MySQL多表查询分类

1.连接查询 内连接:查询多张表的交集部分&#xff0c;只有在两个表中都有匹配的字段值时&#xff0c;记录才会返回。 以下是一个简单的MySQL内连接查询示例&#xff1a; 假设我们有两个表&#xff0c;一个是员工表 employees 和一个是部门表 departments。 employees 表: …

名字能化解命中的劫数,你可知道?

老师&#xff0c;是我们全社会都要尊重的职业&#xff0c;教书育人培养着优秀人才。然而&#xff0c;在她人生最脆弱的时候&#xff0c;学校却解除了与她的劳动关系&#xff0c;再次给她“致命一击”&#xff0c;她所遭受的不公待遇和供职学校的冷漠&#xff0c;引发了社会极大…

【Vue】——前端框架的基本使用

&#x1f4bb;博主现有专栏&#xff1a; C51单片机&#xff08;STC89C516&#xff09;&#xff0c;c语言&#xff0c;c&#xff0c;离散数学&#xff0c;算法设计与分析&#xff0c;数据结构&#xff0c;Python&#xff0c;Java基础&#xff0c;MySQL&#xff0c;linux&#xf…

『大模型笔记』Transformer的几种高效自注意力(降低计算复杂度的方法)!

Transformer的几种高效自注意力(降低计算复杂度的方法)! 文章目录 一. 快速回顾一下注意力机制二. 有哪些技术可以用来提高注意力的效率1. Sparse attention(1) 算法原理:Strided Attention & Fixed Attention(2) 复杂度分析: O ( N N p