NoSQL数据库-Redis集群详解及案例实现

一、关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 RDBMS和NOSQL的特点及优缺点

	关系型数据库	NoSQL数据库
特点	数据关系基于关系模型，结构化存储，完整性约束基于二维表及之间的联系，需要连接，并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性（事务处理）可以进行join等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过SQL分析，大量数据，高并发下读写性能不足对数据做读写或者修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join等复杂操作能力较弱事务支持较弱通用性差无完整约束，复杂业务场景支持较差

二、Redis简介

2.1 Redis介绍

在这里插入图片描述

Redis 是一个开源的、基于内存的数据结构存储系统（NoSQL），通常用作数据库、缓存和消息代理。它的名字源自 “REmote DIctionary Server”（远程字典服务器）。目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快？

纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

在这里插入图片描述

2.4 缓存的实现流程

数据更新操作流程
写入数据：
- 应用程序尝试将新的数据写入 MySQL 数据库。
写MySQL：
- 如果数据成功写入 MySQL：
  - 程序会继续进行下一步操作，即删除 Redis 中对应的缓存项。
- 如果写入 MySQL 失败：
  - 程序直接返回，表示操作失败，不做进一步处理。
删除Redis对应项：
- 在 MySQL 数据写入成功后，程序会删除 Redis 中与此次写入相关的缓存数据。这一步是为了确保 Redis 缓存中的数据与 MySQL 数据库中的数据保持一致性。
返回：
- 最后，程序将返回操作结果，通知调用方操作的成功与否。
数据读取操作流程

在这里插入图片描述

读取数据请求：

客户端或应用程序发起一个读取数据的请求。

读Redis：

系统首先尝试从 Redis 缓存中读取数据：
如果从 Redis 中读取到了数据，直接返回读取的数据。
如果未能从 Redis 中读取到数据，执行下一步操作。

读MySQL：

当 Redis 中未命中（即缓存中没有请求的数据），系统将回源到 MySQL 数据库进行查询：
如果 MySQL 中也未能获取到相应的数据，则返回“未读取到数据”的状态或相应的错误信息给客户端。
如果 MySQL 查询成功，读取到所需数据。

写Redis：

当从 MySQL 成功读取数据后，系统会将此数据写入到 Redis 中。这样做的目的是为了缓存数据，便于后续相同请求的快速响应。

返回数据：

最终，无论是从 Redis 还是 MySQL 中获取的数据，都会返回给客户端或调用方。

三、Redis的安装

官方下载地址：http://download.redis.io/releases/

3.1Redis的基础环境部署

主机名	IP	角色
redis-node1	172.25.254.14	master
redis-node2	172.25.254.24	slave1
redis-node3	172.25.254.34	slave2

注意：以下案例的实现所有环境都为Rehl9.1

# 配置好以上后，需要将防火墙关闭，以防影响案例的实现
[root@redis-node1 ~]# systemctl stop firewalld.service 
[root@redis-node1 ~]# systemctl mask firewalld.service 
[root@redis-node1 ~]# setenforce 0

3.2rpm包方式安装

[root@redis-node1 ~]# dnf install redis -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。上次元数据过期检查：0:21:21 前，执行于 2024年08月25日 星期日 22时33分52秒。
依赖关系解决。
=========================================================================================软件包             架构                版本                     仓库                    大小
=========================================================================================
安装:redis              x86_64              6.2.7-1.el9              Appstream              1.3 M事务概要
=========================================================================================
安装  1 软件包总计：1.3 M
安装大小：4.7 M

3.3 源码安装

在官网下载稳定版本的

注意：在一台主机中不能即用rpm安装也用源码安装

1.在官网下载好源码包，传送至linux系统后，进行解压

[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz    # 解压源码包
[root@redis-node1 ~]# cd redis-7.4.0/               # 进入解压目录

2.安装编译工具并启动执行编译

# 安装编译工具
[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts -y# 执行编译命令
[root@redis-node1 redis-7.4.0]# make   # 进行源码编译
[root@redis-node1 redis-7.4.0]# make install # 进行源码安装

3.启动Redis

# 启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# ./install_server.sh 
Welcome to the redis service installer
This script will help you easily set up a running redis serverThis systems seems to use systemd.            # 提示系统使用的是systemd的初始化方式
Please take a look at the provided example service unit files in this directory, and adapt and stall them. Sorry!# 注释以下检测，解决启动报错问题
[root@redis-node1 utils]# vim ./install_server.sh76 #bail if this system is managed by systemd77 #_pid_1_exe="$(readlink -f /proc/1/exe)"78 #if [ "${_pid_1_exe##*/}" = systemd ]79 #then80 #       echo "This systems seems to use systemd."81 #       echo "Please take a look at the provided example service unit files in this direct ory, and adapt and install them. Sorry!"82 #       exit 183 #fi

4.重新启动

[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis serverPlease select the redis port for this instance: [6379]         # 端口号，点击Enter
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]  # 配置文件，点击Enter
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]   # 日志文件，点击Enter
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]#数据目录，点击Enter
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server]  # 命令路径，点击Enter
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.         # 最后再点击Enter
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!      # 启动成功

5.配置redis

 [root@redis-node1 utils]# vim /etc/redis/6379.conf   # 修改配置文件89 bind * -::*112 # even if no authentication is configured.113 protected-mode no      # 关闭身份认证[root@redis-node1 utils]# /etc/init.d/redis_6379 restart       # 重新启动redis
Stopping ...
Redis stopped
Starting Redis server...[root@redis-node1 utils]# netstat -antlpe | grep redis    # 查看redis的端口（6379）是否在监听
tcp     0    0 0.0.0.0:6379    0.0.0.0:*     LISTEN    0    79267      46334/redis-server 
tcp6    0    0 :::6379              :::*     LISTEN    0    79268      46334/redis-server

6.测试

# 查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info

3.3.1 其它redis的部署

通过以上rede-node1的安装成功后，可以通过传送编译好的源码包传送到其它redis主机进行安装、配置。

1.# 在redis-node1中传送编译好的源码包
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.34:/root2.# 安装编译工具
[root@redis-node2 ~]# dnf install make gcc initscripts -y3.# 源码安装
[root@redis-node2 ~]# cd redis-7.4.0/
[root@redis-node2 redis-7.4.0]# make install4.# 因为传送过来的源码编译包已经配置好，所以这里直接启动redis，不用再处理报错
[root@redis-node2 redis-7.4.0]# cd utils/
[root@redis-node2 utils]# ./install_server.sh 5.# 但是依旧需要手动修改主配置文件的设置
[root@redis-node1 utils]# vim /etc/redis/6379.conf   # 修改配置文件89 bind * -::*112 # even if no authentication is configured.113 protected-mode no      # 关闭身份认证6.# 重新启动redis[root@redis-node2 utils]#  /etc/init.d/redis_6379 restart 
Stopping ...
Redis stopped
Starting Redis server...7.# 查看redis的端口（6379）是否在监听
[root@redis-node2 utils]# netstat -antlpe | grep redis
tcp   0   0 0.0.0.0:6379     0.0.0.0:*      LISTEN    0    67801      40927/redis-server 
tcp6  0        0 :::6379          :::*      LISTEN    0    67802      40927/redis-server

其他redes的主机操作也一致

3.3.2 源码安装的Redis服务卸载

[root@redis-node1 ~]# /etc/init.d/redis_6379 stop      # 停止redis服务
[root@redis-node1 ~]# cd redis-7.4.0/                  # 进入编译目录
[root@redis-node1 redis-7.4.0]# make uninstall         # 执行卸载命令
[root@redis-node1 redis-7.4.0]# ps aux | grep redis    # 查看是否还存在redis的进程

四、Redis的基本操作

命令	说明
config get *	查看配置
select 1	选择数据库
flushdb	清空当前数据库
flushall	清空所有数据库
move key 1	移动key
del key	删除
rename oldkey newkey	改名
expire key 10	设置过期时间
persist key	设置持久化
keys user*	查询
exists key	判断是否存在

示例：

1.查看配置

[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> config get bind    # 查看bind的配置
1) "bind"
2) "* -::*"
127.0.0.1:6379> config get *       # 查看所有配置

2.写入和读取数据

127.0.0.1:6379> set name haha    # 设置名字
OK
127.0.0.1:6379> get name         # 查询名字
"haha"

3.查看key值

127.0.0.1:6379> set name haha
OK
127.0.0.1:6379> keys *          # 查看所有key
1) "name"

4.选择数据库，redis中有0-15个数据库

127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name 
(nil)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> select 16
(error) ERR DB index is out of range      # 超出选择范围

5.移动数据

127.0.0.1:6379> set name haha     # 设定一个数据
OK
127.0.0.1:6379> move name 1       #  移动数据
(integer) 1
127.0.0.1:6379> get name          # 在本来的库进行查询
(nil)
127.0.0.1:6379> select 1          # 选择到1库
OK
127.0.0.1:6379[1]> get name       # 再重新查询，数据移动
"haha"

6.改变键名

127.0.0.1:6379[1]> rename name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"haha"

7.设定数据过期时间

127.0.0.1:6379> set name haha ex 5 # 设置过期时间
OK
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
(nil)# 如果没有设定数据过期时间会一直存在， /var/lib/redis/6379/dump.rdb内存快照中

8.删除

127.0.0.1:6379> set name xixi
OK
127.0.0.1:6379> get name
"xixi"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)

9.持久化保存

127.0.0.1:6379> persist name
(integer) 0

10.判断key是否存在

127.0.0.1:6379> exists name
(integer) 1
127.0.0.1:6379> exists lee
(integer) 0

11.清空当前库

127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> get name
(nil)

12.清空所有库

127.0.0.1:6379> flushall
ok

13.退出数据库

127.0.0.1:6379> quit
[root@redis-node1 ~]#

五、Readis的主从复制

5.2主从同步过程

在这里插入图片描述

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到slave中

5.2配置主从同步

1.修改master

[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf
protected-mode no #关闭protected模式[root@redis-node1 &node2 & node3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

2.配置Slave节点

[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.14 6379
[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...

3.测试效果

# 在master中写入数据
[root@redis-node1 ~]#  redis-cli
127.0.0.1:6379> set name haha
OK
# 在slave进行查看
[root@redis-node2 utils]# redis-cli
127.0.0.1:6379> get name
"haha"

六、Redis的高可用（哨兵模式）

6.1Redis哨兵模式

在这里插入图片描述

Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活”着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的”主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称：Subjective Down，简称SDOWN
有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是：Objectively Down，简称 ODOWN
通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改相关配置，并开启故障转移（failover）
Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类似于MySQL中的MHA功能
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数

sentinel中的三个定时任务

每10秒每个sentinel对master和slave执行info
- 发现slave节点
- 确认主从关系
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
- 通过sentinel__:hello频道交互
- 交互对节点的“看法”和自身信息
每1秒每个sentinel对其他sentinel和redis执行pi

6.2Redis的哨兵模式部署

注意：在所有阶段中关闭 protected-mode no

1.配置master

# 编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/                   
[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf
protected-mode no       			# 关闭保护模式
port 26379 							# 监听端口
daemonize no 						# 进入不打如后台
pidfile /var/run/redis-sentinel.pid # sentinel进程pid文件
loglevel notice 					# 日志级别
sentinel monitor mymaster 172.25.254.100 6379 2 # 创建sentinel监控监控master主
机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000 # master中断时长，10秒连不上视为master下线
sentinel parallel-syncs mymaster 1 	# 发生故障转移后，同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000 # 整个故障切换的超时时间为3分钟[root@redis-node1 redis-7.4.0]# cp /etc/redis/sentinel.conf /etc/redis/sentinel.conf.bak              # 对修改好的配置文件进行备份，因为在后面进行哨兵的启用后会修改配置文件，以防出现问题，将其进行备份。

2.在master复制配置文件到其他阶段

[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.24:/etc/redis/     
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.34:/etc/redis/

3.启动redis-sentinel

一主两从的服务都要启动

在这里插入图片描述

/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑

4.测试

刚启动时

在这里插入图片描述

模拟故障

# 复制一个master会话窗口
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> shutdown              # 关闭redis服务
(0.82s)
not connected>

再次查询

在这里插入图片描述

6.3 Redis哨兵模式会存在的问题以及解决方案

问题

在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slavemaster变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。
解决方案
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入，如果slave数量少于2个便拒绝写入

# 在master中进行设定
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379>  CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
127.0.0.1:6379>
# 以上为临时设定，若想永久设定可以在/etc/redis/6379.conf中进行设定

# 永久设定
[root@redis-node1 ~]# vim /etc/redis/6379.conf 113 # even if no authentication is configured.114 protected-mode no115 min-slaves-to-write 2         # 写入设定的slave数量
[root@redis-node1 ~]# /etc/init.d/redis_6379 restart

	关系型数据库	NoSQL数据库
特点	数据关系基于关系模型，结构化存储，完整性约束基于二维表及之间的联系，需要连接，并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性（事务处理）可以进行join等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过SQL分析，大量数据，高并发下读写性能不足对数据做读写或者修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join等复杂操作能力较弱事务支持较弱通用性差无完整约束，复杂业务场景支持较差