【Redis】基础数据结构-字典

Redis 字典

基本语法

字典是Redis中的一种数据结构，底层使用哈希表实现，一个哈希表中可以存储多个键值对，它的语法如下，其中KEY为键，field和value为值（也是一个键值对）：

HSET key field value

根据Key和field获取value：

HGET key field

哈希表

数据结构
dictht

dictht是哈希表的数据结构定义：

  • table：哈希表数组，数组中的元素是dictEntry类型的
  • size：哈希表数组的大小
  • sizemask：哈希表大小掩码，一般等于size-1
  • used：已有节点的数量（存储键值对的数量）
typedef struct dictht {dictEntry **table;unsigned long size;unsigned long sizemask;unsigned long used;
} dictht;

dictEntry

dictEntry是哈希表节点的结构定义：

  • key：键值对中的键
  • v：键值对中的值
  • next：由于会出现哈希冲突，所以next是指向下一个节点的指针
typedef struct dictEntry {void *key; // 键union {void *val;uint64_t u64;int64_t s64;double d;} v; // 值struct dictEntry *next; // 指向下一个节点的指针
} dictEntry;

dict

dict是Redis中字典的结构定义：

  • type：指向dictType的指针
  • privdata
  • ht[2]：一个dictht类型的数组，数组大小为2，保存了两个哈希表，rehash时使用
  • rehashidx：记录了当前rehash的进度
  • pauserehash：rehash暂停标记，大于0表示没有进行rehash
typedef struct dict {dictType *type; // void *privdata; // 私有数据dictht ht[2]; // 保存了两个哈希表long rehashidx; // rehash的进度标记int16_t pauserehash; 
} dict;typedef struct dictType {uint64_t (*hashFunction)(const void *key);void *(*keyDup)(void *privdata, const void *key);void *(*valDup)(void *privdata, const void *obj);int (*keyCompare)(void *privdata, const void *key1, const void *key2);void (*keyDestructor)(void *privdata, void *key);void (*valDestructor)(void *privdata, void *obj);int (*expandAllowed)(size_t moreMem, double usedRatio);
} dictType;

哈希冲突

一个键值对放入哈希表的时候，会根据key的值，计算一个hash值，然后根据hash值与哈希表大小掩码做与运算得到一个索引值，索引值决定元素放入哪个哈希桶中（落入哈希表数组哪个索引位置处）。

 // 计算hash值hash = dictHashKey(d,key)// 计算索引idx = hash & d->ht[table].sizemask;

在进行哈希计算的时候，不可避免会出现哈希冲突，出现哈希冲突的时候，Redis采用链式哈希解决冲突，也就是落入同一个桶中的元素，使用链表将这些冲突的元素链起来（dictEntry中的next指针）。

rehash

由于Redis采用链式哈希解决冲突，那么在冲突频繁的场景下，链表会变得越来越长，这种情况下查找效率是比较低下的，需要遍历链表对比KEY的值来获取数据，为了处理效率低下的问题，需要对哈希表进行扩容，扩容的过程称为rehash。

在dict结构替中ht保存了两个哈希表，ht[0]用于数据正常的增删改查，ht[1]用于rehash：

（1）正常情况下，所有的增删改查操作都在ht[0]中进行；

（2）需要进行rehash时，会使用ht[1]建立新的哈希表，并将ht[0]中的数据迁移到ht[1]中；

（3）迁移完成后，ht[0]的空间被释放，然后将ht[1]地址赋给ht[0]，ht[1]的大小被设为0，ht[0]重新接收正常的请求，回到了第（1）步的状态；

rehash的触发条件
/* 判断是否需要扩容 */
static int _dictExpandIfNeeded(dict *d)
{/* 如果已经处于rehash状态中直接返回 */if (dictIsRehashing(d)) return DICT_OK;/* 如果ht[0]的大小为0，意味着哈希表为空，此时做初始化操作 */if (d->ht[0].size == 0) return dictExpand(d, DICT_HT_INITIAL_SIZE);/*如果已经存储的节点数量大于或等于哈希表数组的大小，并且跨域扩容或者（节点数量/哈希表数组大小）大于一个比例，同时根据字典的类型判断是否允许分配内存*/if (d->ht[0].used >= d->ht[0].size &&(dict_can_resize ||d->ht[0].used/d->ht[0].size > dict_force_resize_ratio) &&dictTypeExpandAllowed(d)){   // 进行扩容return dictExpand(d, d->ht[0].used + 1);}return DICT_OK;
}/* 由于扩容需要分配内存，这里检查字典类型分配是否被允许*/
static int dictTypeExpandAllowed(dict *d) {if (d->type->expandAllowed == NULL) return 1;return d->type->expandAllowed(_dictNextPower(d->ht[0].used + 1) * sizeof(dictEntry*),(double)d->ht[0].used / d->ht[0].size);
}

d->ht[0].used/d->ht[0].size : 节点数量与哈希表数组大小的比例，称作负载因子。

dict_force_resize_ratio 的默认值是 5。

  1. ht[0]的大小为0，此时哈希表是空的，相当于对哈希表做一个初始化的操作。
  2. 如果哈希表中存储的节点数量大于或者等于哈希表数组的大小，并且哈希表可以扩容或者负载因子大于dict_force_resize_ratio（默认值为5），根据字典的类型判断允许分配内存，满足这三个条件开始扩容。

dict_can_resize

dict_can_resize用来判断哈希表是否可以扩容，有两种状态，值分别为1和0，1代表可以扩容，0代表禁用扩容：

void dictEnableResize(void) {dict_can_resize = 1;
}void dictDisableResize(void) {dict_can_resize = 0;
}

updateDictResizePolicy中对dict_can_resize的状态进行了控制，当前没有RDB子进程并且也没有AOF子进程时设置dict_can_resize状态为可扩容：


void updateDictResizePolicy(void) {// 没有RDB子进程并且也没有AOF子进程if (server.rdb_child_pid == -1 && server.aof_child_pid == -1)dictEnableResize(); // 启用扩容elsedictDisableResize(); // 禁用扩容
}
扩容大小

从代码中可以看到，扩容后哈希表数组的大小为已经存储的节点数量+1：

// 进行扩容
return dictExpand(d, d->ht[0].used + 1);

一些旧版本中扩容后的大小为已存储节点数量的2倍：

dictExpand(d, d->ht[0].used*2);
渐进式hash

当哈希表存储节点内容比较多时，需要将原来的节点一个一个拷贝到新的哈希表中，此时Redis主线程无法执行其他请求，造成阻塞，影响性能，为了解决这个问题，引入了渐进式hash。

渐进式hash并不会一次把旧节点全部拷贝到新的哈希表中，而是分多次渐进式的完成拷贝，其中rehashidx记录了迁移进度，每一次迁移的过程中会更新rehashidx的值，下一次进行数据迁移的时候，从rehashidx的位置开始迁移，在dictRehash中可以看到迁移的处理：

  1. 方法传入了一个参数n，代表本次需要迁移几个哈希桶
  2. 根据需要迁移哈希桶的数量，循环处理每一个哈希桶：
    • 如果当前哈希桶中为空，继续下一个桶的处理rehashidx++
    • 如果当前哈希桶不为空，将当前桶中的所有节点迁移到新的哈希表中，然后更新rehashidx的值继续处理下一个桶
  3. 如果已经处理够了n个桶，或者哈希表的所有数据已经迁移完毕，则结束迁移。
int dictRehash(dict *d, int n) {int empty_visits = n*10; /* Max number of empty buckets to visit. */if (!dictIsRehashing(d)) return 0;// 循环处理每一个哈希桶，n为需要迁移哈希桶的数量while(n-- && d->ht[0].used != 0) {dictEntry *de, *nextde;assert(d->ht[0].size > (unsigned long)d->rehashidx);// 如果当前哈希桶没有存储数据while(d->ht[0].table[d->rehashidx] == NULL) {// rehashidx的值是哈希表数组的某个索引值（指向了某个哈希桶），意味着当前迁移到数组的哪个索引位置处d->rehashidx++; // 继续下一个桶if (--empty_visits == 0) return 1;}de = d->ht[0].table[d->rehashidx];// 如果当前的哈希桶中存储着数据，将哈希桶存储的所有数据迁移到新的哈希表中while(de) {uint64_t h;nextde = de->next;/* Get the index in the new hash table */h = dictHashKey(d, de->key) & d->ht[1].sizemask;de->next = d->ht[1].table[h];d->ht[1].table[h] = de;d->ht[0].used--;d->ht[1].used++;de = nextde;}d->ht[0].table[d->rehashidx] = NULL;// rehashidx，继续迁移下一个哈希桶d->rehashidx++;}/* 判断ht[0]的节点是否迁移完成 */if (d->ht[0].used == 0) {// 释放ht[0]的空间zfree(d->ht[0].table);// 将ht[0]指向ht[1]d->ht[0] = d->ht[1];// 重置ht[1]的大小为0_dictReset(&d->ht[1]);// 设置rehashidx，-1代表rehash结束d->rehashidx = -1;return 0;}/* More to rehash... */return 1;
}

_dictRehashStep

_dictRehashStep中可以看到调用dictRehash时，每次迁移哈希桶的数量为1：

static void _dictRehashStep(dict *d) {if (d->pauserehash == 0) dictRehash(d,1);
}

总结

  1. Redis字典底层使用哈希表实现。

  2. 键值对放入哈希表的时候，会根据key的值，计算hash值，出现哈希冲突的时候，Redis采用链式哈希解决冲突，使用链表将这些冲突的元素链起来。

  3. 由于Redis采用链式哈希解决冲突，那么在冲突频繁的场景下，链表会变得越来越长，这种情况下查找效率是比较低下的，需要遍历链表对比KEY的值来获取数据，为了处理效率低下的问题，需要对哈希表进行扩容，扩容的过程称为rehash。

  4. 当哈希表存储节点内容比较多时，进行rehas的时候主线程无法执行其他请求，造成阻塞，影响性能，所以采用了渐进式hash，渐进式hash并不会一次把旧节点全部拷贝到新的哈希表中，而是分多次渐进式的完成拷贝。

参考

黄健宏《Redis设计与实现》

极客时间 - Redis源码剖析与实战(蒋德钧)

美团针对Redis Rehash机制的探索和实践

Redis版本：redis-6.2.5

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/93755.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于SSM农产品商城系统

基于SSM农产品商城系统

基于SSM农产品商城系统的设计与实现，前后端分离，文档 开发语言：Java数据库：MySQL技术：SpringSpringMVCMyBatisVue工具：IDEA/Ecilpse、Navicat、Maven 系统展示 农产品列表 产品详情 个人中心 登陆界面 管…
阅读更多...
以太网基础学习（二）——ARP协议

以太网基础学习（二）——ARP协议

一、什么是MAC地址 MAC地址（英语：Media Access Control Address），直译为媒体访问控制位址，也称为局域网地址（LAN Address），MAC位址，以太网地址（Ethernet Addr…
阅读更多...
【算法训练-字符串 三】字符串相加

【算法训练-字符串 三】字符串相加

废话不多说，喊一句号子鼓励自己：程序员永不失业，程序员走向架构！本篇Blog的主题是【字符串相加】，使用【字符串】这个基本的数据结构来实现，这个高频题的站点是：CodeTop，筛选条件为&…
阅读更多...
电脑突然提示mfc140u.dll丢失，缺失mfc140u.dll无法运行程序的解决方法

电脑突然提示mfc140u.dll丢失，缺失mfc140u.dll无法运行程序的解决方法

在当今信息化社会，电脑已经成为我们生活和工作中不可或缺的一部分。然而，随着技术的不断发展，电脑也会出现各种问题。其中，最常见的问题之一就是“mfc140u.dll丢失”。那么，当我们遇到这个问题时，应该如何解…
阅读更多...
ISP图像信号处理——白平衡校正和标定介绍以及C++实现

ISP图像信号处理——白平衡校正和标定介绍以及C++实现

从数码相机直接输出的未经过处理过的RAW图到平常看到的JEPG图有一系列复杂的图像信号处理过程，称作ISP（Image Signal Processing）。这个过程会经过图像处理和压缩。 参考文章1：http://t.csdn.cn/LvHH5 参考文章2：htt…
阅读更多...
WebSocket实战之四WSS配置

WebSocket实战之四WSS配置

一、前言 上一篇文章WebSocket实战之三遇上PAC ，碰到的问题只能上安全的WebSocket（WSS）才能解决，配置证书还是挺麻烦的，主要是每年都需要重新更新证书，我配置过的证书最长有效期也只有两年，搞不…
阅读更多...
【数据结构】排序(2)—冒泡排序 快速排序

【数据结构】排序(2)—冒泡排序 快速排序

目录 一. 冒泡排序 基本思想 代码实现 时间和空间复杂度 稳定性 二. 快速排序 基本思想 代码实现 hoare法 挖坑法 前后指针法 时间和空间复杂度 稳定性 一. 冒泡排序 基本思想 冒泡排序是一种交换排序。两两比较数组元素，如果是逆序(即排列顺序与排序后…
阅读更多...
定时任务管理平台青龙 QingLong

定时任务管理平台青龙 QingLong

一、关于 QingLong 1.1 QingLong 介绍 青龙面板是支持 Python3、JavaScript、Shell、Typescript 多语言的定时任务管理平台，支持在线管理脚本和日志等。其功能丰富，能够满足大部分需求场景，值得一试。 主要功能 支持多种脚本语言&#xf…
阅读更多...
我的企业证书是正常的但是下载应用app到手机提示无法安装“app名字”无法安装此app，因为无法验证其完整性解决方案

我的企业证书是正常的但是下载应用app到手机提示无法安装“app名字”无法安装此app，因为无法验证其完整性解决方案

我的企业证书是正常的但是下载应用app到手机提示无法安装“app名字”无法安装此app，因为无法验证其完整性解决方案 首先，确保您从可信任的来源下载并安装企业开发者签名过的应用程序。如果您不确定应用程序的来源，建议您联系应用程序提供者…
阅读更多...
你写过的最蠢的代码是？——AI领域的奇妙体验

你写过的最蠢的代码是？——AI领域的奇妙体验

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…
阅读更多...
Redis与分布式-哨兵模式

Redis与分布式-哨兵模式

接上文 Redis与分布式-主从复制 1.哨兵模式 启动一个哨兵，只需要修改配置文件即可， sentinel monitor lbwnb 1247.0.0.1 6001 1先将所有服务关闭，然后修改配置文件，redis Master，redis Slave，redis Slave…
阅读更多...
源码系列 之 ThreadLocal

源码系列 之 ThreadLocal

简介 ThreadLocal的作用是做数据隔离，存储的变量只属于当前线程，相当于当前线程的局部变量，多线程环境下，不会被别的线程访问与修改。常用于存储线程私有成员变量、上下文，和用于同一线程，不同层级方法间传…
阅读更多...
复习C语言数组的用法

复习C语言数组的用法

实验内容 1.1设计一个函数fun&#xff0c;功能是有N*N的矩阵&#xff0c;根据给定的m值&#xff0c;m<N,将每行元素中的值&#xff0c;均往右移m个位置&#xff0c;左边置0 #include<stdio.h> void fun(int (*a)[3],int m){int n,j,i,k,num;int p2;//右移位置列数nu…
阅读更多...
基于体素场景的摄像机穿模处理

基于体素场景的摄像机穿模处理

基于上一篇一种基于体素的射线检测 使用射线处理第三人称摄像头穿模问题 基于体素的第三人称摄像机拉近简单处理 摄像机移动至碰撞点处 简单的从角色身上发射一条射线到摄像机&#xff0c;中途遇到碰撞就把摄像机移动至该碰撞点 public void UpdateDistance(float defaultDist…
阅读更多...
OpenGL之光照贴图

OpenGL之光照贴图

我们需要拓展之前的系统，引入漫反射和镜面光贴图(Map)。这允许我们对物体的漫反射分量和镜面光分量有着更精确的控制。 漫反射贴图 我们希望通过某种方式对物体的每个片段单独设置漫反射颜色。我们仅仅是对同样的原理使用了不同的名字：其实都是使用一张覆盖物体的图像，让我…
阅读更多...
软件测试教程 自动化测试selenium篇（二）

软件测试教程 自动化测试selenium篇（二）

掌握Selenium常用的API的使用 一、webdriver API public class Main {public static void main(String[] args) {ChromeOptions options=new ChromeOptions();//参数表示允许所有请求options.addArguments("--remote-allow-origins=*");WebDriver webDriver=new Chr…
阅读更多...
【Maven基础篇-黑马程序员】Maven项目管理从基础到高级，一次搞定！

【Maven基础篇-黑马程序员】Maven项目管理从基础到高级，一次搞定！

文章目录 前言Maven简介Maven是什么Maven的作用 Maven的下载与安装Maven基础概念仓库坐标仓库配置全局setting与用户setting区别 第一个Maven程序&#xff08;手工制作&#xff09;第一个Maven程序&#xff08;IDEA生成&#xff09;使用模版&#xff08;骨架&#xff09;创建Ma…
阅读更多...
vcruntime140.dll如何修复,快速修复vcruntime140.dll丢失的三种方法

vcruntime140.dll如何修复,快速修复vcruntime140.dll丢失的三种方法

vcruntime140.dll是Visual C 2015运行库的一个组件&#xff0c;它包含了许多运行时函数&#xff0c;用于支持各种程序的正常运行。当vcruntime140.dll文件丢失时&#xff0c;可能会导致一些程序无法正常运行。本文将详细介绍vcruntime140.dll的作用、丢失原因以及三种修复方法。…
阅读更多...
AAD基础知识(identity/token/PRT)

AAD基础知识(identity/token/PRT)

简介 AAD(Azure Active Directory/Azure AD)是微软基于云身份验证和访问控制的解决方案&#xff0c;通过SSO登录其他o365应用(word/outlook/teams…) 微软在2023年7月把AAD重命名为Microsoft Entra ID&#xff0c;官网&#xff1a;https://www.microsoft.com/zh-cn/security/b…
阅读更多...
uni-app实现图片预览

uni-app实现图片预览

uni.previewImage预览图片 使用方法&#xff1a; <image class"poster" :src"imageUrl" mode"" click"previewImg(imageUrl)"></image>const previewImg (e) > {uni.previewImage({current: e,urls: image}); } 官…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023