一、集群架构
上述集群架构师一个由多个主从节点群组成的分布式服务器,具有复制、高可用和分片的特性。Redis集群不需要sentine哨兵也能完成节点移除和故障转移。官方文档称可以扩展上万个节点。推荐不超过1000个;从节点只担任备份的角色,不承担读写操作;
二、集群原理
Redis Cluster将所有数据划分为16384个slots(槽位),每个节点负责其中一部分槽位,采薇的信息存储在每个节点中;当Redis Cluster的客户端连接集群时,它也会得到一份集群的槽位配置信息缓存在本地,这样可以根据key值定位到目标节点;槽位与服务端机器不一致问题需要纠正机制来实现槽位校验调整;
1 槽位算法
HASH SLOT=CRC16(key) mod 16384
2 跳转重定位
当客户端发出一个错误的节点指令到服务端,该节点会发现指令的key值的槽位并不归自己管理,这是它会向客户端发送一个跳转指令,携带目标节点地址,客户端收到指令后会跳转对应地址并纠正本地槽位映射缓存;
3 Redis集群节点间的通信机制
节点间采用goss协议进行通信;
维护集群元数据(集群节点信息,主从角色,节点数量,各节点共享数据等)有两种方式:集中式和gossio;
集中式:优点在于元数据更新和读取湿陷性好,元数据改变会立即更新到集中式的存储中,缺点是元数据更新集中在一个地方;
gossio:
点对点慢慢通知,及时性差;
4 集群选主的过程
1.slave发现自己的master变为FAIL
2.将自己记录的集群currentEpoc 并广播FAILOVER AUTH REQUEST 信息
3.其他节点收到该信息只有master应,判断请求者的合法性,并发送FAILOVER AUTH ACK,对每一个epoch只发送一次ack
4.尝试failover的slave收集master返回的FAILOVER AUTH ACK
5.silave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点,如果只有两个,当其中一个挂了,只剩一个主节点是不能选举成功的)
6.slave广播Pong消息通知其他集群节点。
延时发送请求:
DELAY=500ms+random(0-500ms)+ SLAVE RANK*1000ms
'SLAVE RANK表示此slave已经从master复制数据的总量的rank,Rank越小代表已复制的数据越新,这种方式下,持有最新数据的slave将会首先发起选举(埋论上)。
5 集群脑裂问题
red1s集群没有过半机制会有脑裂问题,网络分区导致脑裂后多个主节点对外提供写服务,一旦网络分区恢复,会将其中一个主节点变为从节点,这时会有大量数据丢失。
规避方法可以在redis配否里加上参数(这种方法不可能百分百避免数据丢失,参考集群leader选举机制):
min-slaves-to-write1 //写数据成功最少同步的s1ave数量,这个数量可以模仿大于半数机制配置,比如集料总共三个节点可以配置1,加上1eader就是2,超过了半数注意:这个配置在一定程度上会影响集群的可用性,比如save要是少于1个,这个集群就算!eader正常也不能提供服务了,需要具体场是权衡选择。
6 集群扩容
1 节点加入集群(加入后节点默认都是master节点)
2 槽位重新分配(连接任何机器 发起槽位分配,指定分配数量 ,指定分配到的机器,被分配的节点),数据也会跟着迁移;
3 加入副本节点,将副本节点指定为刚刚节点的副本节点;