redis之主从复制和哨兵模式

(一)redis的性能管理

1、redis的数据缓存在内存中

2、查看redis的性能:info memory(重点)

used_memory:904192(单位字节)

redis中数据占用的内存

used_memory_rss:10522624

redis向操作系统申请的内存

used_memory_peak:904192

redis使用内存的峰值

3、生产中的日常系统巡检:硬件巡检、数据库、nginx、redis、docker、k8s

4、redis的内存碎片率:used_memory_rss/used_memory(重点)

(1)内存碎片率:系统已经分配给了redis,但是redis未有效利用的内存
(2)查看内存碎片率:redis-cli info memory | grep ratio

allocator_frag_ratio:1.27

分配器碎片的比例,redis主进程调度时产生的内存,比例越小越好,值越高说明碎片越多,内存的浪费越多

allocator_rss_ratio:5.24

分配器占用物理内存的比例,也就是主进程调度执行时占用了多少物理内存

rss_overhead_ratio:1.17

RSS是向系统申请的内存空间,表示redis占用物理空间额外的开销比例,比例越低越好,表示redis实际占用的物理内存和向系统申请的内存越接近,额外的开销就越低

mem_fragmentation_ratio:12.49

内存碎片的比例,比例越低越好,表示内存的使用率越高

(3)清理碎片
①自动清理(修改配置文件)——设置redis的最大内存阀值

设置redis的最大内存阀值:一旦到达阀值,自动清理碎片,开启key的回收机制

生产中一定要给redis设置阀值,不设置最大阀值,内存会直接爆满——重点

key回收的策略(重点)

maxmemory-policy volatile-lru

使用redis内置的LRU算法,把已经设置了过期时间的键值对进行淘汰数据,移除最近最少使用的键值对(针对已经设置了过期时间的键值对)

maxmemory-policy volatile-ttl

已经设置了过期时间的键值对,从当中挑选一个即将过期的键值对(针对已经设置过期时间的键值对)

maxmemory-policy volatile-random

从已经设置了过期时间的键值对当中,挑选数据随机的淘汰键值对(对设置了过期时间的键值对进行随机移除)

allkeys-lru

LRU算法当中,对所有的键值对进行淘汰,移除最少使用的键值对(针对所有的键值对)

allkeys-random

所有键值对当中任意选择数据进行淘汰

maxmemory-policy noeviction

禁止键值对回收(不删除任何键值对,直到redis把内存塞满,写不了报错为止)

②手动清理:redis-cli memory purge

(4)redis占用内存的效率问题如何解决?
①日常巡检中,对redis的占用情况进行监控
②设置redis占用系统内存的阀值,避免占用系统全部内存
③内存碎片清理(手动、自动)
④配置适合的key回收机制

5、redis雪崩(少见)

(1)redis雪崩:缓存雪崩,是指大量的应用请求无法在redis缓存中处理,请求会全部发送到后台数据库,数据库的压力会激增,数据库并发能力本身就很差,一旦高并发,数据库会很快崩溃
(2)雪崩产生的原因:
①redis集群大面积故障
②redis缓存中,大量数据同时过期,大量的请求无法得到处理
③redis实例宕机
(3)解决方案
①事前:高可用架构,防止整个缓存故障,主从复制、哨兵模式和redis集群
②事中:在国内的通用方式:HySTRIX,熔断、降级、限流三个手段来降低雪崩发生之后的损失,数据库不死即可,可以慢,但是不能没有响应(开发做)
③事后:redis备份,快速缓存预热(开发做)

6、redis的缓存击穿(常见)

(1)原因:热点数据缓存过期或者被删除,多个请求并发访问热点数据,请求转发到后台
数据库,导致数据库的性能快速下降
(2)键值对还在,但值被替换,原有的请求找不到之后,同样请求后台数据库
*经常被请求的缓存数据,最好设置为永不过期

7、redis的缓存穿透(少见)

(1)缓存穿透:缓存中没有数据,数据库中也没有对应的数据,但是有用户一直发起这个都没有的请求,而且请求的数据格式很大,黑客在利用漏洞攻击,压垮应用数据库

(九)redis的集群架构(高可用)

1、高可用方案:主从复制、哨兵模式、集群

(十)redis之主从复制

1、主从复制

(1)是redis实现高可用的基础,哨兵模式和集群都是在主从复制的基础上实现高可用
(2)实现数据的多机备份,以及读写分离(主服务器负责写,从服务器只能读,设置了从默认是只读模式)
(3)缺点:故障无法恢复,需要人工干预,写操作无法实现负载均衡
(4)主从复制需要至少3个节点

2、主从复制的工作原理

(1)主节点(master)、从节点(slave),数据的复制是单向的,只能从主节点到从节点

3、主从复制的工作机制

4、主从复制的架构
(1)20.0.0.41:master
(2)20.0.0.42:slave1
(3)20.0.0.43:slave3

5、实验过程

(1)配置主节点

(2)配置从服务器

(3)测试

(二)哨兵模式(先有主从、再有哨兵)

1、哨兵模式

(1)在主从复制的基础上,实现主节点故障的自动切换

2、哨兵模式的原理

(1)哨兵:分布式系统,部署在每一个redis节点上,用于在主从结构之间,对每台redis的服务进行监控
(2)主节点出现故障时,从节点通过投票的方式选择一个新的master
(3)哨兵模式需要至少3个节点

3、哨兵模式的结构

(1)哨兵节点:监控节点,不存储数据
(2)数据节点:主节点和从节点

4、哨兵模式的工作机制

(1)哨兵模式的原理:每一个哨兵节点每隔一秒,通过ping命令方式,检测主、从之间的心跳线。主节点在一定时间内没有回复或者回复了错误的消息,这个时候,哨兵就会主观的认为主节点下线了,超过半数的哨兵节点认为主节点下线了,这个时候才会认为主节点是客观下线
(2)哨兵节点通过raft算法(选举算法),每个节点共同投票选举出一个新的master,然后新的master实现主节点转移和故障恢复通知
(3)主节点的选举过程
①已经下线的从节点不会被选为主节点
②选择配置文件当中,从节点优先级最高的replica-priority 100
③选择一个复制数据最完整的从节点

5、实验过程

(1)配置主节点

(2)配置从服务器

起服务:先起master,再起slave:redis-sentinel sentinel.conf &

(3)监控哨兵集群的信息

(4)故障切换(有延迟)

(5)故障恢复

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/158665.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

广告行业中那些趣事系列66:使用chatgpt类LLM标注数据并蒸馏到生产小模型

导读:本文是“数据拾光者”专栏的第六十六篇文章,这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇主要介绍使用chatgpt类LLM进行数据标注任务并蒸馏到生产小模型,对于希望使用chatgpt类LLM进行打标并部署到生产任务中的小伙伴可…

JVM的垃圾收集算法

1.算法的分类 1.1标记清除算法 第一步:标记(找出内存中需要回收的对象,并且把它们标记出来) 根据可达性算法,标记的是存活的对象,然后将其他的空间进行回收 第二步:清除(清除掉被…

Sentinel 监控数据持久化(mysql)

Sentinel 实时监控仅存储 5 分钟以内的数据,如果需要持久化,需要通过调用实时监控接口来定制,即自行扩展实现 MetricsRepository 接口(修改 控制台源码)。 本文通过使用Mysql持久化监控数据。 1.构建存储表&#xff08…

ESP32 Arduino实战Web篇-使用 WebSocket 创建 ESP32 Web 服务器

本文将详细介绍如何使用 WebSocket 创建 ESP32 Web 服务器,解释WebSocket原理与搭建步骤,并附超详细的代码解释 假设我们需要创建一个使用 ESP32 通过 WiFi 控制灯泡的项目。实现非常简单:我们将 ESP32 设置为软 AP 或 STA 模式,使其能够提供一个网页,显示灯开关的状态为…

HT560 30W 过温限幅 D类音频功率放大器

HT560具有过温限幅功能,当芯片内部温度达到过温限幅点,HT560自动降低增益,使其IC能够连续播放而不间断。另外,HT560具有功率限制功能,一种是限幅功能,在输出端限制一定的输出幅度,使其不损坏喇叭…

阿里云高效计划学生和老师免费代金券申请认证方法

阿里云高校计划学生和教师均可参与,完成学生认证和教师验证后学生可以免费领取300元无门槛代金券和3折优惠折扣,适用于云服务器等全量公共云产品,订单原价金额封顶5000元/年,阿里云百科aliyunbaike.com分享阿里云高校计划入口及学…

2014年3月13日 Go生态洞察:并发模式与管道取消技术

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

刷题学习记录(攻防世界)

wife_wife 一拿到题目就提示这题不用爆破 进入环境得到的是一个登录框 随便试了一下登录账户密码会提示错误,那就去注册账户,注册的账户还有注册管理员的选项 先注册普通用户234,注册好后登录 这样就得到flag,但是提交是错误的&a…

KT404A语音芯片U盘更新语音方案说明_通讯协议 硬件设计参考

一、功能简介 KT404A语音芯片用U盘更换语音文件,适用于广告机、提示器等等场景 为了满足客户不方便使用PC电脑端更新,我们在KT404A芯片的基础上,开发了U盘更换声音文件的功能,保持和之前的标准本本【也就是KT404A芯片的基础版本…

论文笔记:Localizing Cell Towers fromCrowdsourced Measurements (intro 部分)

2015 1 Intro 1.1 motivation opensignal.com 、cellmapper.net 和 opencellid.org 都是提供天线(antenna)位置的网站 他们提供的天线位置相当准确,但至少在大多数情况下不完全正确这个目标难以实现的原因是蜂窝网络供应商没有义务提供有…

[原创]解决老款AMD CPU在Win10/Win11无故重启的问题.

[简介] 常用网名: 猪头三 出生日期: 1981.XX.XXQQ: 643439947 个人网站: 80x86汇编小站 编程生涯: 2001年~至今[共22年] 职业生涯: 20年 开发语言: C/C、80x86ASM、PHP、Perl、Objective-C、Object Pascal、C#、Python 开发工具: Visual Studio、Delphi、XCode、Eclipse、C Bui…

python 实现银行卡号查询银行名称和简称

本章教程利用python实现查询银行卡号名称和简称 。 目录 一、 实例代码 二、运行效果 一、 实例代码 #!/usr/bin/python # -*- coding: UTF-8 -*- """ author: Roc-xb desc: python 实现银行卡号查询银行简称 """ import requestsdef bank_mes…

Vue2 基本语法

Vue2 基本语法 前言Vue2 基本语法脚手架文件结构关于不同版本的Vuevue.config.js配置文件ref属性props配置项mixin(混入)插件scoped样式总结TodoList案例webStorage组件的自定义事件全局事件总线(GlobalEventBus)消息订阅与发布(pubsub&#…

【OpenGauss 列存储学习总结 2】

OpenGauss 列存储学习总结 2 概述文章链接 概述 列存储是一种优化技术,用于在数据库系统中存储和查询大量数据。与传统的行存储方式不同,列存储将每个列的数据分别存储在独立的存储单元中,而不是按照行的方式存储。这种存储方式在分析性查询、…

FFmpeg 6.1 开放源码多媒体框架近日发布了重大更新

导读FFmpeg 6.1 开放源码多媒体框架近日发布了重大更新,带来了新功能、新解码器、新过滤器和许多其他变化。 在 FFmpeg 6.0 “Von Neumann “版本发布八个多月后,FFmpeg 6.1 被命名为 “Heaviside”,引入了多线程 Vulkan 硬件加速解码&#x…

时序预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的时间序列预测

时序预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的时间序列预测 目录 时序预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的时间序列预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现HPO-ELM猎食者算法优化极限学习机时间序列预测 1.data为数据集…

2023年中国合成云母行业现状及市场格局分析[图]

合成云母是一种通过化工原料经高温熔融冷却析晶而制得的单斜晶系矿物,属于典型的层状硅酸盐,许多性能都优于天然云母,如合成云母的耐温高达1200℃以上,而天然白云母在550℃下就会开始分解,金云母则在800℃开始分解。除…

HC32L110小华半导体SWD模式切换的问题

在将SWD配置为普通引脚并配置为输出后,如果需要重新配置为SWD,需要将其配置为输入才行,如下: Clk_SetFunc(ClkFuncSwdPinIOEn, TRUE); //配置SWD引脚为普通引脚模式 Gpio_InitIOExt(SWCLK_PORT, SWCLK_PIN, GpioDirOut, TRUE,…

麻雀搜索优化算法MATLAB实现,SSA-BP网络

对于麻雀搜索算法的介绍,网上已经有不少资料了,这边公布SSA的matlab实现 下面展示SSA算法的核心代码以及详细注解 % 麻雀搜索算法函数定义 % 输入:种群大小(pop),最大迭代次数(Max_iter),搜索空间下界(lb)&#xff0c…

【C++进阶】二叉搜索树(BSTree)

​👻内容专栏:C/C编程 🐨本文概括:二叉搜索树的基本操作(查找、删除、插入)、二叉搜索树的应用,KV模型。 🐼本文作者:阿四啊 🐸发布时间:2023.11.22 一、二叉搜索树 1.1…