redis主从搭建和分片集群搭建

文章目录

  • redis主从搭建
    • 搭建一主一从：
      • 下载安装redis：两台机器都需要操作
      • 权限认证
    • 理解主从复制原理、同步数据集
      • 全量同步三个阶段：
      • 增量同步：
      • 心跳检测
    • redis哨兵模式
      • 部署方案
      • 搭建配置
      • 哨兵模式原理
      • 建立连接
        • 获取主服务器信息
        • 获取从服务器信息
  • redis分配集群搭建

redis主从搭建

搭建一主一从：

下载安装redis：两台机器都需要操作

  1. redis下载地址 https://redis.io/download
  2. tar -zxvf redis-5.0.5.tar.gz
  3. mv redis-5.0.5 redis
  4. cd redis
  5. make
  6. cd src
  7. make install
  8. cd ..
  9. mkdir bin
  10. mv src/redis* bin/

修改master redis.conf：

#开启守护线程，后台启动
daemonize yes  
# 开启远程访问
bind 0.0.0.0
# 关闭保护模式
protected-mode no

修改slave redis.conf

#开启守护线程，后台启动
daemonize yes  
# 开启远程访问
bind 0.0.0.0
# 关闭保护模式
protected-mode no
# 配置主redis ip port
replicaof 39.96.204.209 6379

两天机器分别启动redis

cd bin

./redis-server ../redis.conf

进入master客户端：

./redis-cli
127.0.0.1:6379> set weijie 666

进入slave客户端

127.0.0.1:6379> get weijie
"666"127.0.0.1:6379> set weijie 222
(error) READONLY You can't write against a read only replica.#Slaver向Master发送ping命令,Master的响应pong命令
127.0.0.1:6379> ping
PONG

如果出现该值，则说明主从搭建成功！！！

权限认证

修改master redis.conf:
配置主redis密码

requirepass 123456

修改slaver redis.conf，配置从redis的master密码

masterauth 123456

重启master slaver机器的redis，写入和读取测试

master中：

127.0.0.1:6379> info replication
127.0.0.1:6379> set jie
(error) ERR wrong number of arguments for 'set' command
127.0.0.1:6379> set jie 666
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> set jie 666
OK

slaver中：

127.0.0.1:6379> info replication
127.0.0.1:6379> get jie
"666"

配置成功!!!

理解主从复制原理、同步数据集

redis 2.8以前:只能支持全量同步+命令传播，slave发送sync命令给master --> master生成rdb文件以及缓冲区所有写命令给slave --> salve清空数据解释rdb文件，保存数据一致。

缓冲区是对redis的一种保护机制，redis会将写命令保存在缓冲区，然后再取出执行，有AOF缓冲区、AOF重写缓冲区(解决重写期间数据不一致问题)、输出缓冲区
等
AOF 缓冲区的作用：目的是维持主线程 AOF 文件的正常写入，保证在重写阶段，AOF 文件写入的逻辑不变。

AOF 重写缓存区作用：目的是记录 AOF 重写开始之后的键增删改的命令。
解释：https://www.v2ex.com/t/193687

在这里插入图片描述

redis 2.8以后：全量同步+增量同步，从第一次连上master --> 全量同步 --> 断线重连触发全量同步、增量同步(master 判断runid是否一致)，除此之外都是增量同步。
在这里插入图片描述

全量同步三个阶段：

  1. 同步快照阶段：master创建并发送快照RDB给slave --> slave载入解析RDB，master同时将此阶段所产生的新的写命令存储到缓冲区。
  2. 同步写缓冲阶段：master向slave同步缓冲区的命令
  3. 同步增量阶段：master向slave同步写命令
    在这里插入图片描述

增量同步：

  1. Redis增量同步主要值slave完成初始化后开始正常工作时，master发生的写操作同步到slave的过程。
  2. 通常情况下，master每执行一个写命令就会向slave发送相同的写命令，然后slave接受并执行

心跳检测

在命令传播阶段，从服务器默认会以每秒一次的频率向主服务器发送命令。
主要作用有三个：

  1. 检测主从的连接状态
  2. 辅助实现min-slaves，Redis可以通过配置防止主服务器在不安全的情况下执行写命令，配置信息（min-slaves-to-writ 3 min-slaves-max-lag 10 ）表示从服务器的数量少于3个，或者三个从服务器的延迟（lag）值都大于或等于10
    秒时，主服务器将拒绝执行写命令。
  3. 检测命令丢失，补发命令

redis哨兵模式

哨兵是Redis高可用解决方案：
由于一个或多个sentinel实例组成sentinel集群可以监视一个或多个主服务器和多个从服务器。
当主服务器进入下线状态时，sentinel可以将该主服务器下的某一从服务器升级为主服务器继续提供服务，从而保证redis的高可用。

redis的sentinel系统用于管理多个redis服务器，该系统主要执行三个任务：监控、提醒、自动故障转移。

1、监控（Monitoring）： Redis Sentinel实时监控主服务器和从服务器运行状态，并且实现自动切换。

2、提醒（Notification）：当被监控的某个 Redis 服务器出现问题时， Redis Sentinel 可以向系统管理员发送通知， 也可以通过 API 向其他程序发送通知。

3、自动故障转移（Automatic failover）： 当一个主服务器不能正常工作时，Redis Sentinel 可以将一个从服务器升级为主服务器， 并对其他从服务器进行配置，让它们使用新的主服务器。当应用程序连接Redis 服务器时， Redis Sentinel会告之新的主服务器地址和端口。

部署方案

在这里插入图片描述

搭建配置

slaves是自动发现，所以你没必要明确指定slaves

预留：后期补充

哨兵模式原理

建立连接

sentinel是一个特殊的redis服务器，不会进行持久化，sentinel实例启动后，每个sentinel会创建2个连向主服务器的网络连接。

命令连接：用于向主服务器发送命令，并接收响应
订阅连接：用于订阅主服务器的 sentinel:hello频道
!在这里插入图片描述

获取主服务器信息

Sentinel默认每10s一次，向被监控的主服务器发送info命令，获取主服务器和其下属从服务器的信息

127.0.0.1:6379> info
# Server
redis_version:5.0.5
os:Linux 3.10.0-229.el7.x86_64 x86_64
run_id:a4e06ab61b4116660aa37b85079ed482b0b695b1
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=1571684,lag=1
slave1:ip=127.0.0.1,port=6381,state=online,offset=1571551,lag=1
master_replid:366322125dd7dc9bc95ed3467cfec841c112e207
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1571684
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset

获取从服务器信息

当sentinel发现主服务器有新的从服务器出现时，sentinel会向从服务器建立命令连接和订阅连接了，在命令连接建立之后，sentinel还是默认10s一次，向从服务器发送info命令，并记录从服务器信息
在这里插入图片描述
向主服务器和从服务器发送消息(以订阅的方式)

哨兵模式后期搭建成功后再记录！

redis分配集群搭建

redis 3.0之后，Redis官方提供了完整的集群解决方案。
方案去中心化的方式，包括：sharding(分片)、replication(分区)、failover(故障转移)。称为redisCluster。

redis 5.0前采用redis-trib进行集群的创建和管理，需要ruby支持
redis 5.0可以直接使用redis-cli进行集群的创建和管理。

下面开始集群的搭建：redis 版本：5.0.5
搭建效果：在这里插入图片描述
在这里插入图片描述

1.编译安装

tar -zxvf redis-5.0.5.tar.gz
mkdir redis-cluster
cd redis-cluster
mkdir 7001
cd ..
cd redis-5.0.5/src
make install PREFIX=/home/weijie/redis-cluster/7001

查看7001目录下出现bin目录，则按照成功

2.集群配置

配置准备

cd redis-cluster
cd 7001
#引用配置文件
cp /home/weijie/redis-5.0.5/redis.conf ./

修改配置

#修改配置文件
vim redis.conf
#修改端口
port=7001
#关闭保护模式
protected-mode no
#后台启动
daemonize yes
#禁用bind ip 端口
#bind 127.0.0.1 ::1
#开启集群模式
cluster-enabled yes

集群配置准备

cd redis-clustercp -r 7001 7002cp -r 7001 7003cp -r 7001 7004cp -r 7001 7005cp -r 7001 7006拷贝完后，修改其他redis.conf对应的端口号，其他参数不用动

配置启动脚本

cd redis-cluster
vim start.sh

start.sh内容如下

cd /home/weijie/redis-clustercd 7001
./bin/redis-server redis.confcd ..
cd 7002
./bin/redis-server redis.confcd ..
cd 7003
./bin/redis-server redis.confcd ..
cd 7004
./bin/redis-server redis.confcd ..
cd 7005
./bin/redis-server redis.confcd ..
cd 7006
./bin/redis-server redis.conf

stop.sh内容如下

kill -9 `ps -ef|grep redis-server | awk '{print $2}'

赋脚本写和执行的权限
chmod u+x start.sh
chmod u+x stop.sh

启动脚本：sh start.sh
在这里插入图片描述
启动成功！

创建redis集群：

./redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1

在这里插入图片描述

进入客户端：

cd 7001/bin
# -c 表示集群模式客户端
./redis-cli -h 127.0.0.1 -p 7001 -c
# 查看集群信息
cluster nodes

在这里插入图片描述

写入测试：
在这里插入图片描述
发现数据分片到7003，然后自动调整到7003

集群搭建完成！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/508853.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何利用redis实现秒杀系统

如何利用redis实现秒杀系统

文章目录题记利用Watch实现Redis乐观锁题记 在线思维导图总结：redis大纲 利用Watch实现Redis乐观锁 乐观锁基于CAS（Compare And Swap）思想（比较并替换），是不具有互斥性，不会产生锁等待而消 耗…
阅读更多...
教你如何使用redis分布式锁

教你如何使用redis分布式锁

文章目录一、redis客户端实现应用1.利用set nx命令实现分布式锁2.利用分布式锁命令 setnx问题1.为什么不直接调用jedis.del(key)方法而采用redislua实现？2.上述两种方式存在的问题？3.根本原因分析二、分布式场景Redission分布式锁的使用1.分布式锁的特性…
阅读更多...
本地缓存之Guava简单使用

本地缓存之Guava简单使用

文章目录使用场景Guava Cache 的优势Guava Cache使用CacheLoaderCallable删除主动删除过期删除基于容量删除引用删除高级用法并发设置更新锁定GuavaCache高级实战之疑难问题GuavaCache会oom（内存溢出）吗GuavaCache缓存到期就会立即清除吗GuavaCache如何找…
阅读更多...
java中强引用、弱引用、软引用、虚引用学习

java中强引用、弱引用、软引用、虚引用学习

文章目录强引用弱引用软引用虚引用将引用之前首先让我们一起回顾一下java对象的生命周期强引用 在实际开发场景中，我们一般使用的都是强引用，只要强引用存在，垃圾回收即使OOM也不会回收，知道强引用释放以后，对象才会被…
阅读更多...
mysql left join、right join、inner join、union、union all使用以及图解

mysql left join、right join、inner join、union、union all使用以及图解

左外连接：left join sql语法：LEFT JOIN LEFT OUTER JOIN 首先需要创建两张表做测试，表数据如下所示 table 1 表： table2 表： 查询sql： select * from table1 a LEFT JOIN table2 b on a.idb.id 总结&a…
阅读更多...
第十八章 Swing程序设计

第十八章 Swing程序设计

Swing用于开发桌面窗体程序，是JDK的第二代GUI框架，其功能比JDK第一代GUI框架AWT更为强大、性能更加优良。但因为Swing技术推出时间太早，其性能、开发效率等不及一些其他流行技术，所以目前市场上大多数桌面窗体程序都不是由Java开发…
阅读更多...
redis stream学习总结

redis stream学习总结

文章目录streamStream基本概念消息id消息内容增删查改消息生产添加消息 xadd查看消息长度 xlen限制stream最大长度1.xadd 中添加**maxlen**:2.xtrim查询消息 xrange正向排序：消费id从小到大排反向查询：消费id从大到小排删除消息消息消费独立消费 xread消…
阅读更多...
常用的限流算法学习

常用的限流算法学习

常用的限流算法有漏桶算法和令牌桶算法，guava的RateLimiter使用的是令牌桶算法，也就是以固定的频率向桶中放入令牌，例如一秒钟10枚令牌，实际业务在每次响应请求之前都从桶中获取令牌，只有取到令牌的请求才会被成功响应…
阅读更多...
基于rocketMq秒杀系统demo

基于rocketMq秒杀系统demo

基于RocketMQ设计秒杀。 要求： 1. 秒杀商品LagouPhone，数量100个。 2. 秒杀商品不能超卖。 3. 抢购链接隐藏 4. NginxRedisRocketMQTomcatMySQL 实现 接口说明：https://www.liuchengtu.com/swdt/#R9f978d0d00ef9be99f0…
阅读更多...
基于Curator实现dubbo服务自动注册发现

基于Curator实现dubbo服务自动注册发现

文章目录概念基于ServiceDiscovery实现服务自动注册和发现Service:服务基本信息InstanceDetails:封装实例用过来保存到zk中ServiceProvider：服务提供者ServiceConsumer：服务消费者运行基于ServiceDiscovery、ServiceCache实现服务自动注册和发现Registry…
阅读更多...
jdk、cglib动态代理代码示例

jdk、cglib动态代理代码示例

文章目录jdk动态代理实现步骤代码示例新建一个接口新建一个接口的实现类新建一个代理类调用测试cglib动态代理实现实现步骤创建一个实现类新建一个代理类调用测试jdk动态代理 实现步骤 新建一个接口新建一个接口的实现类新建一个代理类，实现InvocationHandler接口…
阅读更多...
Netty 客户端服务器端通信 demo

Netty 客户端服务器端通信 demo

服务端 package com.demo.rpc.netty;import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.*; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.nio.NioServerSocketChannel; import io.netty.channel.socket.nio.NioSocketC…
阅读更多...
Solr实战篇

Solr实战篇

1.在MySQL数据中建立lagou_db数据库, 将position.sql中的数据导入到mysql 数据中。 2.使用Solr的DIH 将mysql中的数据导入到Solr中。 3.使用SpringBoot 访问Solr 使用positionName 字段检索职位信息 如果检索到的职位信息不够5条 则需要 启用positionAdvantage 查找 美女多、…
阅读更多...
Docker 部署java服务

Docker 部署java服务

作业描述： （1）Hot是应用程序(springboot)，打成jar包：docker-demo-1.0-SNAPSHOT.jar （2）利用dockerfile将docker-demo-1.0-SNAPSHOT.jar构建成镜像docker-demo Dockerfile-docker-demo&#xf…
阅读更多...
单向链表 双向链表 java代码实现

单向链表 双向链表 java代码实现

文章目录单向链表代码实现单元测试控制台打印头插法尾插法双向链表代码实现单元测试控制台打印头插法尾插法单向链表 代码实现 package csdn.dreamzuora.list;/*** author: weijie* Date: 2020/10/15 15:28* Description:*/ public class SingleNode {int id;String name…
阅读更多...
栈、队列 java代码实现

栈、队列 java代码实现

文章目录普通队列数组实现java代码实现单元测试控制台打印链表实现java代码实现单元测试控制台打印LinkedList队列使用优先队列：PriorityQueue使用栈数组实现java代码实现单元测试控制台打印链表实现java代码实现单元测试控制台打印普通队列 概念：先入先…
阅读更多...
ElasticSearch入门篇

ElasticSearch入门篇

文章目录控制台RESTFULL操作REST风格说明基于REST命令说明：es支持的数据类型核心数据类型ik分词器使用ik_smart最少切分ik_max_word最细粒度索引操作索引库创建创建文档方式指定索引类型(以后这种方式会被弃用)不指定索引类型利用默认的_doc类型更新文档方式一&…
阅读更多...
【待完成】并发包下常用到线程工具类汇总

【待完成】并发包下常用到线程工具类汇总

文章目录并发容器BlockingQueueArrayBlockingQueueLinkedBlockingQueuePriorityBlockingDelayQueueSynchronousQueueBlockingDequeCopyOnWriteCopyOnWriteArrayListCopyOnWriteArraySetConcurrentLinkedQueue/DequeConcurrentHashMapConcurrentSkipListMap/Set同步工具类AQS实现…
阅读更多...
爬虫中如何获取页面编码类型

爬虫中如何获取页面编码类型

获取页面的编码格式的三种方式： 根据Response中的header获取编码格式根据页面标签中的meta获取根据页面内容识别自动识别出编码格式，经过测试准确率比较高 三种方式可以结合使用，由于inputStream不能够被复用，但是inputStrem没有…
阅读更多...
Spark集群部署与架构

Spark集群部署与架构

在大数据时代，处理海量数据需要分布式计算框架。Apache Spark作为一种强大的大数据处理工具，可以在集群中高效运行，处理数十TB甚至PB级别的数据。本文将介绍如何构建和管理Spark集群，以满足大规模数据处理的需求。 Spark集群架构…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023