redis大key优化

1.什么是大key以及可能造成的异常

1.1 什么大key

redis是key,val型存储结构,key允许的最大大小为512MB,空字符串也是有效的键。大key是指value很大(占用大内存)。
常见的大key,大致可以这么分(根据具体redis规格以及实际压测而定):
(1)单个String类型的Key大小
(2)集合类型数量以及整体内存

1.2 大key危害

(1)影响吞吐qps
redis是单线程执行命令,大key耗时相对长,压测会发现其占用整个请求处理时间长。qps要求高的场景,影响其他接口请求,甚至可能会触发上游请求超时。
(2)占用大量带宽,甚至引发网络阻塞
例如2MB的缓存,1000qps,1秒大约2000Mb的流量。
(3)阻塞工作线程
del删除大key,造成主库较长时间的阻塞并引发同步中断或主从切换;
(4)redis内存分布不均匀
Redis集群中的某个节点内存使用量超过其余节点,数据迁移以Ke为基本单元,故无法实现均衡各个节点上的内存。

2.怎么识别大key

2.1 各个云厂商提供的监控

例如阿里云: https://help.aliyun.com/zh/redis/user-guide/view-monitoring-data?spm=a2c4g.11186623.0.0.6f3bd584t9imPV
可以从阿里云的监控得到: (1)热点key (2)慢key,延时高的key。

2.2 redis自带工具

redis-cli --bigkeys

2.3 开源工具

3.优化大key

3.1 本地缓存

将更新频率低,但是使用量高的数据使用本地缓存替代redis,还可以加快访问速度。

3.2 大key拆分

(1)对于集合类型
若业务允许,可以将集合类型拆分成一个一个string类型,同时统一前缀,通过mget和mset来访问。
拆分两个或者多个集合。
(2)string类型
存储关键数据,剔除非关键数据,例如只存储用户的id,权限id,而非整个用户信息或权限信息

3.3 删除无用的数据

(1)每条数据都设置过期时间
(2)业务删除的数据,在redis中找个合适时间,例如每次上线,业务低频时间,进行删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/28309.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

搭建Python虚拟环境(五):Pyenv

使用Pyenv搭建虚拟环境的详细指南 Pyenv 是一个Python版本管理工具,可以让你在同一台机器上安装和管理多个Python版本。对于Windows用户,可以使用pyenv-win,这是一个专为Windows平台设计的Pyenv版本。本文将详细介绍如何使用Pyenv&#xff0…

判断子字符串是否存在

java判断字符串是否包含特定内容,用到contains语句 语法格式是 str.contains(string) 其中 str是字符串 string是查询字符串 示例代码如下 public class Stringcontains {public static void main(String[] args) {String str"今天的菜谱有:蒸羊羔&…

CleanMyMac X软件下载附加详细安装教程

​首先要介绍的是CleanMyMac X,这是一款极受欢迎的苹果电脑清理软件,它能够全面扫描你的电脑系统,清理无用的文件和垃圾,以释放硬盘空间,除了清理功能之外,CleanMyMac X 还可协助管理应用程序、优化性能、修…

[2024-06]-[大模型]-[Ollama]- WebUI

主要涉及要部署的前端webui是来源于:https://github.com/open-webui/open-webui 正常就使用: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-web…

建造者模式(大话设计模式)C/C++版本

建造者模式 C 参考&#xff1a;https://www.cnblogs.com/Galesaur-wcy/p/15907863.html #include <iostream> #include <vector> #include <algorithm> #include <string> using namespace std;// Product Class&#xff0c;产品类&#xff0c;由多个…

小白跟做江科大32单片机之定时器输出比较

原理部分 背景 GPIO口是数字输出端口&#xff0c;只能输出1和0。但是通过PWM&#xff0c;可以使其控制LED呼吸灯亮灭的程度 1.通过CNT和CCR进行比较&#xff0c;可以输出一定频率和占空比的PWM波形 2.通用定时器有4个CCR&#xff0c;可同时输出4路PWM波形&#xff0c;但只有…

智慧消防新篇章:可视化数据分析平台引领未来

一、什么是智慧消防可视化数据分析平台&#xff1f; 智慧消防可视化数据分析平台&#xff0c;运用大数据、云计算、物联网等先进技术&#xff0c;将消防信息以直观、易懂的图形化方式展示出来。它不仅能够实时监控消防设备的运行状态&#xff0c;还能对火灾风险进行预测和评估…

Unity | Tilemap系统

目录 一、准备工作 1.插件导入 2.资源导入 二、相关组件介绍 1.Grid组件 2.Tilemap组件 3.Tile 4.Tile Palette 5.Brushes 三、动态创建地图 四、其他功能 1.移动网格上物体 2.拖拽缩放地图 Unity Tilemap系统为2D游戏开发提供了一个直观且功能强大的平台&#xff…

【知识点】std::thread::detach std::lock_guard std::unique_lock

在 C11 中&#xff0c;std::thread 提供了并发编程的基础设施&#xff0c;使得我们可以创建和管理线程。std::thread 的 detach 方法是一种常用的线程管理方式&#xff0c;允许线程在后台独立运行&#xff0c;而不必与主线程同步或等待其完成。 std::thread::detach 方法 当你…

【LeetCode最详尽解答】125-验证回文串 Valid-Palindrome

欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家&#xff01; 链接: 125-验证回文串 直觉 这个问题需要使用一些内置函数&#xff0c;比如 s[l].isalnum() 和 s[l].…

springboot整合security

整合Spring Security到Spring Boot项目中可以帮助你实现认证&#xff08;Authentication&#xff09;和授权&#xff08;Authorization&#xff09;&#xff0c;从而保护你的应用程序资源和数据。下面是一个基本的步骤指南&#xff0c;帮助你在Spring Boot项目中整合和配置Spri…

Docker运行 Redis、Mysql、Nginx、MongoDB、Minio等

Redis 挂载文件&#xff0c;自行选择 wget http://download.redis.io/redis-stable/redis.conf 创建对应的文件 mkdir -p /docker/redis/data mkdir -p /docker/redis/conf touch /docker/redis/conf/redis.conf # redis.conf什么的都不能是空docker pull redis:6.0.8dock…

Web前端真实简历:深入解析关键要点与技巧

Web前端真实简历&#xff1a;深入解析关键要点与技巧 在数字化快速发展的今天&#xff0c;Web前端技术已成为互联网行业的核心领域之一。一份真实而引人注目的Web前端简历&#xff0c;对于求职者来说至关重要。本文将从四个方面、五个方面、六个方面和七个方面&#xff0c;深入…

C++ 55 之 多继承

#include <iostream> #include <string> using namespace std;class Base08_1{ public:int m_a;Base08_1(){this->m_a 10;} };class Base08_2{ public:// int m_b;int m_a;Base08_2(){// this->m_b 20;this->m_a 30;} };// 多继承 继承的类型都要…

GenICam标准(一)

系列文章目录 GenICam标准&#xff08;一&#xff09; GenICam标准&#xff08;二&#xff09; GenICam标准&#xff08;三&#xff09; GenICam标准&#xff08;四&#xff09; GenICam标准&#xff08;五&#xff09; GenICam标准&#xff08;六&#xff09; 文章目录 系列文…

非对称加密系统解析

目录 1. 概述 2. 非对称加密标准 2.1 RSA 2.2 SM2 2.2.1 SM2私钥 2.2.2 SM2公钥 2.2.3 加密数据格式 2.2.4 签名数据格式 1. 概述 非对称加密中&#xff0c;密钥分为加密密钥和解密密钥两种。发送者用加密密钥对消息进行加密&#xff0c;接收者用解密密钥对密文进行解密…

Zookeeper:客户端命令行操作

文章目录 一、help二、ls path三、create四、get path五、set六、stat七、delete八、deleteall 一、help 显示所有操作命令。 二、ls path 使用ls命令来查看当前znode的子节点[可监听] w&#xff1a;监听子节点变化。s&#xff1a;附加次级信息。 三、create 普通创建&am…

DOM的概念?获取html元素的方法有哪些?

Dom文档对象模型&#xff0c;对js的HTML具有操作能力。 获取HTML的方法&#xff1a; Document.getElementById(‘’) 通过元素 id 来查找元素&#xff1b; Document.getElementsByClassName(‘’) 通过类名来查找元素; Document.getElementsByName(‘’) 通过表单元素中 na…

element--el-table添加合计后固定列x轴滚动条无法滚动问题

效果图 改变固定列滚轮高度问题 解决文章 解决方案 使用到的参数 pointer-events 属性用来控制一个元素能否响应鼠标操作&#xff0c;常用的关键字有 auto 和 none pointer-events: none; 让一个元素忽略鼠标操作 pointer-events: auto; 还原浏览器设定的默认行为 代码演示 添…

web前端网上私活:探索、挑战与成长的独特之旅

web前端网上私活&#xff1a;探索、挑战与成长的独特之旅 在这个数字化飞速发展的时代&#xff0c;Web前端网上私活成为了越来越多开发者的选择。它不仅仅是一种获取额外收入的方式&#xff0c;更是一种挑战自我、提升技能、拓宽视野的独特旅程。接下来&#xff0c;我将从四个…