Redis报错:CROSSSLOT Keys in request don‘t hash to the same slot的解决方案

最近,项目上线的时候,出现了一个Redis的报错:CROSSSLOT Keys in request don't hash to the same slot,这个在内网环境下无法复现,因为正式环境的Redis是cluster集群模式,而我们内网环境是单机模式。(后面我在内网也部署了一个Redis集群,具体见我这一篇文章 《使用Docker搭建Redis Cluster集群》)

Redis集群的slot概念

Redis的插槽(Slot)是用于实现集群分片(Cluster Sharding)的一种机制。Redis集群至少需要三个结点,每个结点处理一部分数据。那么怎样分配这些数据到各个结点呢?Redis Cluster 采用的是虚拟槽分区算法,其中提到了槽(Slot)的概念。这个槽是用来存放缓存信息的单位,在 Redis 中将存储空间分成了 16384 2 14 {2}^{14} 214)个槽,也就是说 Redis Cluster 槽的范围是 0 -16383。

在存储数据的时候,集群会对 Key 进行 CRC16 校验并对 16384 取模:

slot = CRC16(key) % 16384

得到的结果就是 Key-Value 所放入的槽,从而实现自动分割数据到不同的节点上

在这里插入图片描述

为什么会是16384个插槽呢?Redis作者是这么说的:传送门

什么情况下会报这个错

在集群模式下,所有涉及到多个 key的Redis指令,都要求所有的 key处于同一个 slot,如果 slot不同,哪怕实际上这些 slot都在同一个结点上,也会报这个错:

CROSSSLOT Keys in request don't hash to the same slot

例如以下这些操作:

SUNIONSTORE destination key [key ...]SDIFF key [key ...]EVAL script numkeys key [key ...] arg [arg ...]DEL key [key ...]

只要看到格式中有 key [key ...]这样的操作,在集群中,都必须保证所有 key在同一个 slot

禁止不同的slot操作,大概有以下原因:

  1. 性能考虑:允许跨槽操作将需要在不同节点之间进行复杂的协调和网络通信,这可能会显著降低操作的性能。Redis设计为高性能的存储系统,这种设计选择有助于保持操作的速度和效率。
  2. 简化分布式环境下的操作:通过限制操作仅在相同槽的键上执行,Redis Cluster简化了分布式环境下的数据管理。这样做减少了数据一致性和同步问题的复杂度,使得集群管理更为简单。
  3. 提高可扩展性和可靠性:这种设计允许Redis Cluster在节点失败或网络分区发生时更容易地进行数据迁移和故障转移。如果允许跨槽操作,这将增加数据迁移和恢复的复杂性,可能会影响到整个系统的可靠性。
  4. 分区的自治性:将数据划分到不同的槽中,并限制跨槽操作,有助于保证每个分区的自治性。这意味着每个节点可以独立处理其槽内的操作,从而减少了节点之间的依赖性。

要如何解决这个问题

既然Redis集群不允许跨slot的操作,那我们只要让key强制分配到同一个Slot就行了。

上面说了,正常情况下,slot = CRC16(key)%16384,这里是对整个key进行CRC16。

Redis提供了一种Hash Tag的功能,在key中使用{}括起key中的一部分,在进行 CRC 16 (key) % 16384 的过程中,只会对{}内的字符串计算。

例如,{rank:level}:1,{rank:level}:2这两个key就会分配都同一个slot,因为计算哈希的时候,都使用了 {}中的那一部分:rank:level,所以分配出来的 slot就是一样的。

值得注意的是,这里的 {}可以放在key的任意位置,例如 all{rank:level},all{rank:level}:1也都是一样的。

另外,如果有多个 {}的话,只有第一个 {}生效,例如 {rank:level}:1:{2},用来计算哈希的只是第一个 {}里面的 rank:level

参考资料

  • [CSDN]Redis中的插槽(slot)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/816774.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ELK(Elasticsearch+Logstash+Kibana)日志分析系统

目录 前言 一、ELK日志分析系统概述 1、三大组件工具介绍 1.1 Elasticsearch 1.1.1 Elasticsearch概念 1.1.2 关系型数据库和ElasticSearch中的对应关系 1.1.3 Elasticsearch提供的操作命令 1.2 Logstash 1.2.1 Logstash概念 1.2.2 Logstash的主要组件 1.2.3 Logsta…

TCM(Tightly Coupled Memory)紧密耦合存储器简介

在ARM Cortex处理器中,TCM通常指的是紧密耦合存储器(Tightly Coupled Memory)。TCM是一种位于处理器核心旁边的高速存储器,它的设计目的是为了提供低延迟和高带宽的内存访问性能。 TCM的特点是它与处理器内核紧密耦合,…

pycharm 链接 MySQL

简介: 社区版pycharm(免费但是没有直接连接数据库的快捷方式) mysql-8.3.0-winx64 由于pycharm不是专业版本(需付费),所以你懂得,需要自己加插件 一、mysql的下载,安装&#xff…

【鸿蒙开发】第二十一章 Media媒体服务(一)

1 简介 Media Kit(媒体服务)提供了AVPlayer和AVRecorder用于播放、录制音视频。 在Media Kit的开发指导中,将介绍各种涉及音频、视频播放或录制功能场景的开发方式,指导开发者如何使用系统提供的音视频API实现对应功能。比如使用…

List和Map的几种初始化方法

目录 List初始化方法 使用ArrayList的构造方法初始化 使用Arrays.asList()方法初始化 使用Collections.addAll()方法初始化: 使用List.of()方法初始化(Java 9及以上版本) 使用Stream的collect()方法初始化 Map的初始化方法 使用HashMa…

Textarea的常用属性thymeleaf

文章目录 textareathymeleaf1.基础使用2.代码块的切换3.链接表达式1)范例 4.前后端5.遍历1.th:each2.th:switch3.添加属性 组件替换 每周总结 textarea -webkit-scrollbar:width:0;让滚动条隐藏,宽度为0 resize&#x…

Linux网络服务器编程:TCP与UDP详解

文章目录 一、TCP与UDP概述1.1 TCP的原理1.2 UDP的原理1.3 数据流动 二、Socket的使用2.1 TCP Socket示例2.2 UDP Socket示例 三、数据流动时序图3.1 TCP通信详解3.2 UDP通信详解 四、异常情况处理4.1 服务器ACK丢失4.2 第三次握手的ACK丢失 五、总结推荐阅读 Linux网络服务器编…

win11 如何把微软账户切换成administrator

windows11系统第一次进来需要绑定微软账户,当然也不是必须的。但是微软搞得不明所以。 如果真的是绑定了微软账户,也是有好处的,可以在微软的账户里看到绑定的设备以及定位(没做深究是否准确) 如果要去掉微软账户换成a…

设计模式:备忘录模式示例

文章目录 示例一定义备忘录类(Memento)定义发起人类(Originator)定义看护人类(Caretaker)使用备忘录模式 示例二定义备忘录类(Memento)定义发起人类(Originator&#xff…

力扣 | 148. 排序链表

和数组里面的归并排序思想一致 class Solution {public ListNode sortList(ListNode head) {//过滤条件if(head null || head.next null)return head;ListNode slow head;ListNode fast head.next;while (fast ! null && fast.next ! null){slow slow.next;fast …

Golang基础-12

Go语言基础 介绍 目录操作 创建 删除 重命名 遍历目录 修改权限 文件操作 创建 打开关闭 删除 重命名 修改权限 读文件 写文件 文件定位 拷贝 测试 单元测试 基准测试 示例 介绍 本文介绍Go语言中目录操作(创建目录、删除目录、重命名、遍历…

c++的学习之路:20、继承(1)

摘要 本章主要是讲以一下继承的一些概念以及使用方法等等。 目录 摘要 一、继承的概念及定义 1、继承的概念 2、继承定义 1.2.1、定义格式 1.2.2、继承关系和访问限定符 1.2.3、继承基类成员访问方式的变化 3、总结 二、基类和派生类对象赋值转换 三、继承中的作用…

Matlab自学笔记二十九:元胞数组的创建、索引和转换方法

1.概念 元胞数组(cell array)是一种具有容器特性的数据类型,每个元素可以包含任何类型的数据; 2.创建方法 (1)方法一:使用大括号{}; (2)方法二&#xff1…

9【原型模式】复制一个已存在的对象来创建新的对象

你好,我是程序员雪球。 今天我们来学习23种设计模式之原型模式,在平时开发过程中比较少见。我带你了解什么是原型模式,使用场景有哪些?有什么注意事项?深拷贝与浅拷贝的区别,最后用代码实现一个简单的示例…

大数据深度学习:基于Tensorflow深度学习卷积神经网络CNN算法垃圾分类识别系统

文章目录 大数据深度学习:基于Tensorflow深度学习卷积神经网络CNN算法垃圾分类识别系统一、项目概述二、深度学习卷积神经网络(Convolutional Neural Networks,简称CNN)三、部分数据库架构四、系统实现系统模型部分核心代码模型训…

Android之图片压缩几种方式

大概可以分为以下几类:更换图片格式,质量压缩,采样率压缩,缩放压缩,调用jpeg压缩等 1.设置图片格式 Android目前常用的图片格式有png,jpeg和webp, png:无损压缩图片格式&#xff0…

【Java】新手一步一步安装 Java 语言开发环境

文章目录 一、Windows 10 系统 安装 JDK8二、 Mac 系统 安装 JDK8三、IDEA安装 一、Windows 10 系统 安装 JDK8 (1)打开 JDK下载网站,根据系统配置选择版本,这里选择windows 64位的版本,点击下载(这里需要…

5.SpringSpringBoot八股

Spring,Spring MVC,Spring Boot 之间什么关系? Spring就是整个Spring框架的整体,包含AOP、JDBC、Spring MVC等等模块 SpringBoot是Spring的精简版,它在Spring的基础上添加了自动装配、内置tomcat服务器等功能,使得代码量更少,同…

Finetuning vs. Prompting:大语言模型两种使用方式

目录 前言1. 对于大型语言模型的两种不同期待2. Finetune(专才)3. Prompt(通才)3.1 In-context Learning3.2 Instruction-tuning3.3 Chain of Thought(COT) Prompting3.4 用机器来找Prompt 总结参考 前言 这里和大家分享下关于大语言模型的两种使用方式,一种是 Fine…

2024最新 PyCharm 2024.1 更新要点汇总

2024最新 PyCharm 2024.1 更新要点汇总 文章目录 2024最新 PyCharm 2024.1 更新要点汇总摘要引言 Hugging Face:模型和数据集的快速文档预览针对 JavaScript 和 TypeScript 的全行代码补全 PyCharm Professional编辑器中的粘性行编辑器内代码审查新终端 Beta新的 AI…