redis的数据类型的增删改查

redis的高可用

在集群中有一个非常重要的指标,提供服务的时间的百分比(365天)99.9%

redis的高可用含义更加宽泛,正常服务是指标之一,数据容量的扩展,数据的安全性

在redis中实现高可用技术

持久化,主从,哨兵模式,cluster集群

持久化

持久化是最简单的高可用方法,主要作用是数据备份,也就是把redis缓存在内存当中的数据保存到本地的硬盘中(冷备份)

redis持久化的两种方式

1、RDB持久化:redis的内存中的数据定时保存到磁盘(自动执行,手动执行)

2、AOF持久化:redis的操作日志,已追加的方式写入一个AOF的文件,类似于mysql的binlog

RDB的持久化

指在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),用二进制压缩存储

保存的问加你的后缀.rdb ,redis启动时,可以直接读取快照文件,实现数据恢复

rdb的触发机制

手动机制:save bgsave都可以生成RDB文件

save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完成为止

save的数据流程图

在redis数据库中创建几个列表set test1 1 set test2 2set test3 3
save进入备份文件目录
cd /var/lib/redis/6379
cp dump.rdb /opt清空数据库
停服务
/etc/init.d/redis_6379 stop把复制到opt目录下的dump.rdb复制到etc/init.conf/6379目录下开启服务
/etc/init.d/redis_6379 start
刚刚创建数据库的文件,也恢复了

bgsave的数据流程

bgsave就是主从复制的机制

bgsave工作流程

主进程会通过fork机制创建一个子进程,子进程的创建过程中,主进程会阻塞,子进程创建完毕,主进程解除阻塞

子进程来创建RDB文件,创建完成之后,通知主进程更新通知信息

自动存储机制
vim /etc/redis/6379.conf
219行
save 900 1
900秒	当时间到900秒时,redis的数据至少发生了1次变化,就执行bgsavesave 300 10
300秒	当时间到300秒时,redis的数据至少发生了10次变化,就执行bgsavesave 60 10000
60秒	当时间到60秒时,redis的数据至少发生了10000次变化,就执行bgsave数据变动越多,执行的时间要越短,数据变动不大,时间间隔242行
rdbcompression yes
开启RDB的文件压缩功能,在高并发场景建议关闭264行
dir /var/lib/redis/6379 
保存持久化文件目录

除了配置文件中的save m n之外

主从复制,从节点执行全量复制操作,直接点会执行bgsave,把rdb文件传送给从节点

关闭主进程,shutdown之后,会自动执行rdb的持久化

启动时加载

rdb文件被损坏,日志中会打印错误,redis会拒绝启动

redis-check-rdb 修复rdb的持久化文件

AOF持久化

AOF持久化是将redis的每一次读 写 删除命令纪录到一个单独的.aof为结尾的文件,查询操作由主进程纪录,当redis重启时,再次执行aof文件中的命令来恢复数据

AOF的实时性更好,也是主流的持久化方案

vim /etc/redis/6379.conf
700行
appendonly yes 
yes是开启持久化功能appendfilename "appendonly.aof"aof-load-truncated yes
用于判断AOF文件,如果被截断时的行为
yes:发现被截断(写入过程中出现异常,导致文件未能完全写入),redis会尽可能的恢复文件中的数据,redis会继续运行
no:发现AOF文件被截断,redis将拒绝启动
如果你对数据完整性的要求高 no注重数据服务器的可用性 yes
aof备份和恢复
进入数据库并创建
set test1 1
set test2 2
set test3 3删除库内容关闭服务
/etc/init.d/redis_6379  stop进入日志文件
vim /var/lib/redis/appendonly.aofflushall上面*以下全部删除在开启服务
/etc/init.conf/6379 start 
刚刚删除的文件,就会恢复

rdb是redis的默认持久化文件,但是一旦开启AOF持久化,那么redis会以AOF的持久化文件作为最高优先级

AOF的重写功能
为什么要重写?

随着时间增长,AOF文件当中的数据也会不断增加,AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致导致数据恢复的时间过长

什么叫重写?

文件重写是指定期的重写AOF文件,减少AOF文件的体积,AOF重写是吧redis进程内的数据,转化为写命令,同步到新的AOF文件当中(不会额外的生成一个新的文件,只是在原内容中进行压缩),不会对原有的AOF文件进行任何读、写的操作

特殊注意:文件重写虽然是AOF持久化强烈推荐的,但不是必须的,没有重写,并影响redis启动时读取数据,在实际中,会关闭自动的文件重写,通过定时任务来完成

AOF同步文件策略的三种方式
vim /etc/redis/6379.conf
729行#appendfsync always
appendfsync everysec
#appendfsync noappendfsync always  写入过程中,立刻调用redis系统的fsync操作写入到AOF文件,这次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命也会大大降低appendfsync no	写入操作调用系统的write操作,不对AOF文件进行同步,操作系统来同步,同步周期30秒,文件同步的时间不可控,缓冲区堆积大量数据,数据的安全也无法保证appendfsync everysec	命令写入,调用write操作,write操作结束后,线程会返回,FSYNC同步文件操作由专门的线程,每秒调用一次,这一个折中的策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置
重写的触发条件是什么?

1、手动触发

redis-cli bgrewriteaof 执行重写的命令

查看日志文件

手动触发的数据流程

对原有的数据,只是保留纪录 没有其他的操作

2、自动触发

vim /etc/redis/6379.conf
771行和772行
auto-aof-rewrite-percentage 100
文件的大小查过基准的百分比,默认值就是100,文件的超过两倍时,执行bgrewriteaof 设置为0 禁用自动触发auto-aof-rewrite-min-size 64mb
文件大于基准值,才会进行重写,这个值是AOF文件执行重写的最小值,避免开启启动redis后,文件太小,然后频繁的进行重写
AOF重写为什么能够压缩文件

1、重写的过程中,过期的数据不会写入文件

2、无效的命令不在写入文件,数据被重复设置 例如 set test=1 set test=2 ,删除的语句也不会写入 set test 1 del test

3、会把多条命令合并成一个,sadd test1 v1 sadd test1 v2 sadd test1 v3 sadd test1 v1 v2 v3

重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也增加了(重写不是必须的,要根据需求而定,影响恢复数据快慢)

RDB和AOF之间的优缺点

RDB的优点 文件体积小,网络传输速度很快,适合全量复制,恢复速度也比AOF要快

缺点 做不到实时持久化,数据如此重要,不能够容忍丢失的,另外RDB需要满足特定的格式,兼容性很差,比如老版本的RDB不支持新版本(redis的版本一定要一致)5.0.7

AOF的优点 秒级持久化,兼容性好(文本格式保存的命令)

缺点 文件大,恢复速度慢,AOF持久化需要频繁的向磁盘写数据,磁盘的IO压力也很大,对redis主进程的性能也会有一定的影响

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/157093.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Prometheus监控mysql nginx tomcat 黑盒监控

部署consul_exporter https://github.com/prometheus/consul_exporter/releases/download/v0.9.0/consul_exporter-0.9.0.linux-amd64.tar.gz 注册 ootubuntu20:~# cat consul_export.json rootubuntu20:~# cat consul_export.json {"services": [{"id"…

技术为业务赋能:深度剖析开发与业务的紧密结合

技术为业务赋能:深度剖析开发与业务的紧密结合 很多做开发的同学有一种认知,技术最牛,进而忽视了对业务的理解和积累,眼里认为技术和游戏一样,有着层出不穷的新技术,更新迭代的非常快,而业务方…

Modbus转Profinet网关在大型自动化仓储项目应用案例

Modbus转Profinet网关在大型自动化仓储项目应用案例 在自动化仓储项目中,Modbus是一种常见的通信协议,用于连接各种设备,例如传感器、PLC和人机界面。然而,Modbus协议只支持串行通信,并且数据传输速度较慢。为了提高通…

【C++历练之路】stack||queue||底层原理知多少

W...Y的主页 😊 代码仓库分享💕 🍔前言: C标准模板库(Standard Template Library,STL)是C语言的一个重要组成部分,提供了一组通用的数据结构和算法,以便开发人员能够高…

计算机算法分析与设计(24)---分支限界章节复习

文章目录 一、分支界限法介绍二、旅行商问题应用三、装载问题应用3.1 问题介绍与分析3.2 例题 四、0-1背包问题应用4.1 问题介绍与分析4.2 例题 一、分支界限法介绍 二、旅行商问题应用 三、装载问题应用 3.1 问题介绍与分析 3.2 例题 四、0-1背包问题应用 4.1 问题介绍与分析…

TensorFlow实战教程(十九)-Keras搭建循环神经网络分类案例及RNN原理详解

从本专栏开始,作者正式研究Python深度学习、神经网络及人工智能相关知识。前一篇文章分享了卷积神经网络CNN原理,并通过Keras编写CNN实现了MNIST分类学习案例。这篇文章将详细讲解循环神经网络RNN的原理知识,并采用Keras实现手写数字识别的RNN分类案例及可视化呈现。基础性文…

CSDN专栏设置

文章目录 一、规则1.1、专栏数量与等级关联1.2、等级与积分关联1.3、积分1.3.1、积分获取1.3.2、积分被扣 二、配置2.1、入口2.2、新建2.2.1、一级专栏2.2.2、二级专栏 2.3、快捷编辑2.4、拖拽 一、规则 写了一阵子CSDN博客后,发现自己新增专栏的时候提示不能再新增…

【python笔记】客户运营 - cohort分析

一、数据 本文涉及数据下载链接。 二、数据预处理 2.1 读取数据 import pandas as pddf pd.read_csv(your_path/Year 2010-2011.csv, encodingISO-8859-1) df.head()2.2 检查数据 检查空值情况 df.isna().sum() # 结果 Invoice 0 StockCode 0 De…

visionOS空间计算实战开发教程Day 2 使用RealityKit显示3D素材

我们在​​Day1​​中学习了如何创建一个visionOS应用,但在第一个Demo应用中我们的界面内容还是2D的,看起来和其它应用并没有什么区别。接下来我们先学习如何展示3D素材,苹果为方便开发人员,推出了RealityKit,接下来看…

Vue 3实战:打造交互丰富的任务管理应用

Vue 3实战:打造交互丰富的任务管理应用 前言搭建Vue 3项目步骤 1: 安装Vue CLI 3步骤 2: 创建Vue 3项目步骤 3: 进入项目目录步骤 4: 启动项目步骤 5: 查看项目结构 组件设计与复用1. **组件的职责单一化:**2. **Props传递:**3. **插槽(Slots&#xff09…

维格表项目进度同步到钉钉群

企业越来越依赖项目管理工具,以确保项目按时完成、成本控制得当、并实现预期的业务目标。但随着项目变得更加复杂,项目经理和团队需要更高效的方法来跟踪和传达项目进度,以确保团队内部保持一致的理解。 传统的项目管理方法,可能缺…

『亚马逊云科技产品测评』活动征文|搭建Squoosh图片在线压缩工具

搭建Squoosh图片在线压缩工具 前言一、Squoosh是什么?二、准备一台Lightsail实例1.进入控制台2.创建实例3.开放端口4.部署Squoosh5.预览 三、搭建反向代理1. 安装宝塔2. 配置反向代理3. 预览代理效果 提示:授权声明:本篇文章授权活动官方亚马…

【前端】vue中合并表格行

做平台功能时&#xff0c;遇到一个需求是需要将表格某列有相同值时进行合并展示&#xff0c;比如 1、通过在Element中得知需要在表格中增加span-method方法 <el-table:data"tableData":span-method"cellMerge"borderstyle"width: 100%; margin-to…

苍穹外卖遇到的问题—员工分页查询

项目场景&#xff1a; 系统中的员工很多的时候&#xff0c;如果在一个页面中全部展示出来会显得比较乱&#xff0c;不便于查看&#xff0c;所以一般的系统中都会以分页的方式来展示列表数据。而在我们的分页查询页面中, 除了分页条件以外&#xff0c;还有一个查询条件 “员工姓…

kubeadm join 192.168.10.16:6443 --token xxx报错Failed to request cluster-info

1、node节点执行 kubeadm join 192.168.10.16:6443 --token hak4zi.hrib9uv4p62t1uok --discovery-token-ca-cert-hash sha256:4337638eef783ee6a66045ad699722079e071c2dfbaa21e37d3174f04d58ea97 --v2 报错 [discovery] Failed to request cluster-info, will try again: G…

美团面试:微服务如何拆分?原则是什么?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中&#xff0c;最近有小伙伴拿到了一线互联网企业如美团、字节、如阿里、滴滴、极兔、有赞、希音、百度、网易的面试资格&#xff0c;遇到很多很重要的面试题&#xff1a; 微服务如何拆分&#xff1f; 微服务拆分的规范和原则…

LeetCode 热题100——栈与队列专题(三)

一、有效的括号 20.有效的括号&#xff08;题目链接&#xff09; 思路&#xff1a; 1&#xff09;括号的顺序匹配&#xff1a;用栈实现&#xff0c;遇到左括号入&#xff0c;遇到右括号出&#xff08;保证所出的左括号与右括号对应&#xff09;&#xff0c;否则顺序不匹配。 2…

【Web】Ctfshow XSS刷题记录

目录 反射型XSS ①web316 ②web317-319 ③web320-322 ④web323-326 存储型XSS ①web327 ②web328 ③web329 ④web330 ⑤web331 ⑥web332-333 反射型XSS ①web316 直接输入<script>alert(1)</script>,能弹窗。xss题目一般会有个bot&#xff0c;可以触…

QT 搭建opencv 环境

1. 准备工具CMake 一、CMake介绍 CMake是一个被广泛使用的、开源免费并且完全跨平台的构建工具&#xff0c;可以用简单的语句来描述所有平台的安装(编译过程)。它能够输出各种各样的makefile或者project文件&#xff0c;能测试编译器所支持的C特性&#xff0c;类似UNIX下的aut…

nodejs微信小程序 +python+PHP- 校园志愿者管理系统的设计与实现-计算机毕业设计推荐

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性&#xff1a;…