Redis基础数据结构之 Sorted Set 有序集合 源码解读

目录标题

  • Sorted Set 是什么?
  • Sorted Set 数据结构
    • 跳表（skiplist）
      • 跳表节点的结构定义
      • 跳表的定义
      • 跳表节点查询
      • 层数设置
  • Sorted Set 基本操作

Sorted Set 是什么?

有序集合（Sorted Set）是 Redis 中一种重要的数据类型，它本身是集合类型，同时也可以支持集合中的元素带有权重，并按权重排序。

  • ZRANGEBYSCORE：按照元素权重返回一个范围内的元素
  • ZSCORE：返回某个元素的权重值

在这里插入图片描述

Sorted Set 数据结构

  • 结构定义：server.h
  • 实现：t_zset.c

结构定义是 zset，里面包含哈希表 dict 和跳表 zsl。zset 充分利用了：

  • 哈希表的高效单点查询特性（ZSCORE）
  • 跳表的高效范围查询（ZRANGEBYSCORE）

typedef struct zset {dict *dict;zskiplist *zsl;
} zset;

Skiplist：用于快速查找、插入和删除操作，提供近似O(log N)的时间复杂度

Dictionary（Hashtables）：用来存储成员与分数的映射关系，确保每个成员的唯一性

跳表（skiplist）

多层的有序链表。下面展示的是 3 层的跳表，头节点是一个 level 数组，作为 level0~level2 的头指针。

在这里插入图片描述

跳表节点的结构定义

typedef struct zskiplistNode {// sorted set 中的元素sds ele;// 元素权重double score;// 后向指针（为了便于从跳表的尾节点倒序查找）struct zskiplistNode *backward;// 节点的 level 数组struct zskiplistLevel {// 每层上的前向指针struct zskiplistNode *forward;// 跨度，记录节点在某一层 *forward 指针和该节点，跨越了 level0 上的几个节点unsigned long span;} level[];
} zskiplistNode;

跳表的定义

typedef struct zskiplist {// 头节点和尾节点struct zskiplistNode *header, *tail;unsigned long length;int level;
} zskiplist;

在这里插入图片描述

跳表节点查询

在查询某个节点时，跳表会从头节点的最高层开始，查找下一个节点：
访问下一个节点

  • 当前节点的元素权重 < 要查找的权重
  • 当前节点的元素权重 = 要查找的权重，且节点数据<要查找的数据
    访问当前节点 level 数组的下一层指针
    当前节点的元素权重 > 要查找的权重
//获取跳表的表头
x = zsl->header;
//从最大层数开始逐一遍历
for (i = zsl->level-1; i >= 0; i--) {...while (x->level[i].forward && (x->level[i].forward->score < score || (x->level[i].forward->score == score && sdscmp(x->level[i].forward->ele,ele) < 0))) {...x = x->level[i].forward;}...
}

层数设置

几种方法：

  • 每层的节点数约是下一层节点数的一半。
    • 好处：查找时类似于二分查找，查找复杂度可以减低到 O(logN)
    • 坏处：每次插入/删除节点，都要调整后续节点层数，带来额外开销

随机生成每个节点的层数。Redis 跳表采用了这种方法。
Redis 中，跳表节点层数是由 zslRandomLevel 函数决定。

int zslRandomLevel(void) {int level = 1;while ((random()&0xFFFF) < (ZSKIPLIST_P * 0xFFFF))level += 1;return (level<ZSKIPLIST_MAXLEVEL) ? level : ZSKIPLIST_MAXLEVEL;
}

其中每层增加的概率是 0.25，最大层数是 32。

#define ZSKIPLIST_MAXLEVEL 32 /* Should be enough for 2^64 elements */
#define ZSKIPLIST_P 0.25      /* Skiplist P = 1/4 */
跳表插入节点 zslInsert
zskiplistNode *zslInsert(zskiplist *zsl, double score, sds ele) {zskiplistNode *update[ZSKIPLIST_MAXLEVEL], *x;unsigned int rank[ZSKIPLIST_MAXLEVEL];int i, level;serverAssert(!isnan(score));x = zsl->header;// 从最高层的 level 开始找for (i = zsl->level-1; i >= 0; i--) {// 每层待插入的位置rank[i] = i == (zsl->level-1) ? 0 : rank[i+1];// forward.score < 待插入 score || (forward.score < 待插入 score && forward.ele < ele)while (x->level[i].forward &&(x->level[i].forward->score < score ||(x->level[i].forward->score == score &&sdscmp(x->level[i].forward->ele, ele) < 0))) {// 在同一层 level 找下一个节点rank[i] += x->level[i].span;x = x->level[i].forward;}update[i] = x;}// 随机层数level = zslRandomLevel();// 如果待插入节点的随机层数 > 跳表当前的层数if (level > zsl->level) {// 增加对应的层数for (i = zsl->level; i < level; i++) {rank[i] = 0;update[i] = zsl->header;update[i]->level[i].span = zsl->length;}zsl->level = level;}// 新建节点x = zslCreateNode(level, score, ele);// 设置新建节点的 level 数组for (i = 0; i < level; i++) {x->level[i].forward = update[i]->level[i].forward;update[i]->level[i].forward = x;/* update span covered by update[i] as x is inserted here */x->level[i].span = update[i]->level[i].span - (rank[0] - rank[i]);update[i]->level[i].span = (rank[0] - rank[i]) + 1;}for (i = level; i < zsl->level; i++) {update[i]->level[i].span++;}x->backward = (update[0] == zsl->header) ? NULL : update[0];if (x->level[0].forward)x->level[0].forward->backward = x;elsezsl->tail = x;zsl->length++;return x;
}

跳表删除节点 zslDelete

int zslDelete(zskiplist *zsl, double score, sds ele, zskiplistNode **node) {zskiplistNode *update[ZSKIPLIST_MAXLEVEL], *x;int i;x = zsl->header;// 找到待删除的节点for (i = zsl->level-1; i >= 0; i--) {while (x->level[i].forward &&(x->level[i].forward->score < score ||(x->level[i].forward->score == score &&sdscmp(x->level[i].forward->ele,ele) < 0))){x = x->level[i].forward;}update[i] = x;}x = x->level[0].forward;// 判断节点的 score 和 ele 是否符合条件if (x && score == x->score && sdscmp(x->ele,ele) == 0) {// 删除该节点zslDeleteNode(zsl, x, update);if (!node)// 释放内存zslFreeNode(x);else*node = x;return 1;}return 0; /* not found */
}

Sorted Set 基本操作

首先看下如何创建跳表，代码在 object.c 中，可以看到会调用 dictCreate 函数创建哈希表，之后调用 zslCreate 函数创建跳表。

robj *createZsetObject(void) {zset *zs = zmalloc(sizeof(*zs));robj *o;zs->dict = dictCreate(&zsetDictType,NULL);zs->zsl = zslCreate();o = createObject(OBJ_ZSET,zs);o->encoding = OBJ_ENCODING_SKIPLIST;return o;
}

哈希表和跳表的数据必须保持一致。我们通过 zsetAdd 函数研究一下。

zsetAdd
啥都不说了，都在流程图里。
在这里插入图片描述
首先判断编码是 ziplist，还是 skiplist。

ziplist 编码
里面需要判断是否要转换编码，如果转换编码，则需要调用 zsetConvert 转换成 ziplist 编码，这里就不叙述了。

// ziplist 编码时的处理逻辑
if (zobj->encoding == OBJ_ENCODING_ZIPLIST) {unsigned char *eptr;// zset 存在要插入的元素if ((eptr = zzlFind(zobj->ptr, ele, &curscore)) != NULL) {// 存储要插入的元素时，在 not exist 时更新if (nx) {*out_flags |= ZADD_OUT_NOP;return 1;}……if (newscore) *newscore = score;// 原来的 score 和待插入 score 不同if (score != curscore) {// 先删除原来的元素zobj->ptr = zzlDelete(zobj->ptr, eptr);// 插入新元素zobj->ptr = zzlInsert(zobj->ptr, ele, score);*out_flags |= ZADD_OUT_UPDATED;}return 1;}// zset 中不存在要插入的元素else if (!xx) {// 检测 ele 是否过大 || ziplist 过大if (zzlLength(zobj->ptr) + 1 > server.zset_max_ziplist_entries ||sdslen(ele) > server.zset_max_ziplist_value ||!ziplistSafeToAdd(zobj->ptr, sdslen(ele))) {// 转换成 skiplist 编码zsetConvert(zobj, OBJ_ENCODING_SKIPLIST);} else {// 在 ziplist 中插入 (element,score) pairzobj->ptr = zzlInsert(zobj->ptr, ele, score);if (newscore) *newscore = score;*out_flags |= ZADD_OUT_ADDED;return 1;}} else {*out_flags |= ZADD_OUT_NOP;return 1;}
}
skiplist 编码
// skiplist 编码时的处理逻辑
if (zobj->encoding == OBJ_ENCODING_SKIPLIST) {zset *zs = zobj->ptr;zskiplistNode *znode;dictEntry *de;// 从哈希表中查询新增元素de = dictFind(zs->dict, ele);// 查询到该元素if (de != NULL) {/* NX? Return, same element already exists. */if (nx) {*out_flags |= ZADD_OUT_NOP;return 1;}……if (newscore) *newscore = score;// 权重发生变化if (score != curscore) {// 更新跳表节点znode = zslUpdateScore(zs->zsl, curscore, ele, score);// 让哈希表的元素的值指向跳表节点的权重dictGetVal(de) = &znode->score; /* Update score ptr. */*out_flags |= ZADD_OUT_UPDATED;}return 1;}// 如果新元素不存在else if (!xx) {ele = sdsdup(ele);// 在跳表中插入新元素znode = zslInsert(zs->zsl, score, ele);// 在哈希表中插入新元素serverAssert(dictAdd(zs->dict, ele, &znode->score) == DICT_OK);*out_flags |= ZADD_OUT_ADDED;if (newscore) *newscore = score;return 1;} else {*out_flags |= ZADD_OUT_NOP;return 1;}
}

zsetAdd 整体代码

int zsetAdd(robj *zobj, double score, sds ele, int in_flags, int *out_flags, double *newscore) {/* Turn options into simple to check vars. */int incr = (in_flags & ZADD_IN_INCR) != 0;int nx = (in_flags & ZADD_IN_NX) != 0;int xx = (in_flags & ZADD_IN_XX) != 0;int gt = (in_flags & ZADD_IN_GT) != 0;int lt = (in_flags & ZADD_IN_LT) != 0;*out_flags = 0; /* We'll return our response flags. */double curscore;/* NaN as input is an error regardless of all the other parameters. */// 判断 score 是否合法，不合法直接 returnif (isnan(score)) {*out_flags = ZADD_OUT_NAN;return 0;}/* Update the sorted set according to its encoding. */// ziplist 编码时的处理逻辑if (zobj->encoding == OBJ_ENCODING_ZIPLIST) {unsigned char *eptr;// zset 存在要插入的元素if ((eptr = zzlFind(zobj->ptr, ele, &curscore)) != NULL) {// 存储要插入的元素时，在 not exist 时更新if (nx) {*out_flags |= ZADD_OUT_NOP;return 1;}/* Prepare the score for the increment if needed. */if (incr) {score += curscore;if (isnan(score)) {*out_flags |= ZADD_OUT_NAN;return 0;}}/* GT/LT? Only update if score is greater/less than current. */if ((lt && score >= curscore) || (gt && score <= curscore)) {*out_flags |= ZADD_OUT_NOP;return 1;}if (newscore) *newscore = score;// 原来的 score 和待插入 score 不同if (score != curscore) {// 先删除原来的元素zobj->ptr = zzlDelete(zobj->ptr, eptr);// 插入新元素zobj->ptr = zzlInsert(zobj->ptr, ele, score);*out_flags |= ZADD_OUT_UPDATED;}return 1;}// zset 中不存在要插入的元素else if (!xx) {// 检测 ele 是否过大 || ziplist 过大if (zzlLength(zobj->ptr) + 1 > server.zset_max_ziplist_entries ||sdslen(ele) > server.zset_max_ziplist_value ||!ziplistSafeToAdd(zobj->ptr, sdslen(ele))) {// 转换成 skiplist 编码zsetConvert(zobj, OBJ_ENCODING_SKIPLIST);} else {// 在 ziplist 中插入 (element,score) pairzobj->ptr = zzlInsert(zobj->ptr, ele, score);if (newscore) *newscore = score;*out_flags |= ZADD_OUT_ADDED;return 1;}} else {*out_flags |= ZADD_OUT_NOP;return 1;}}/* Note that the above block handling ziplist would have either returned or* converted the key to skiplist. */// skiplist 编码时的处理逻辑if (zobj->encoding == OBJ_ENCODING_SKIPLIST) {zset *zs = zobj->ptr;zskiplistNode *znode;dictEntry *de;// 从哈希表中查询新增元素de = dictFind(zs->dict, ele);// 查询到该元素if (de != NULL) {/* NX? Return, same element already exists. */if (nx) {*out_flags |= ZADD_OUT_NOP;return 1;}// 从哈希表中查询元素的权重curscore = *(double *) dictGetVal(de);// 如果要更新元素权重值if (incr) {score += curscore;if (isnan(score)) {*out_flags |= ZADD_OUT_NAN;return 0;}}/* GT/LT? Only update if score is greater/less than current. */if ((lt && score >= curscore) || (gt && score <= curscore)) {*out_flags |= ZADD_OUT_NOP;return 1;}if (newscore) *newscore = score;// 权重发生变化if (score != curscore) {// 更新跳表节点znode = zslUpdateScore(zs->zsl, curscore, ele, score);// 让哈希表的元素的值指向跳表节点的权重dictGetVal(de) = &znode->score; /* Update score ptr. */*out_flags |= ZADD_OUT_UPDATED;}return 1;}// 如果新元素不存在else if (!xx) {ele = sdsdup(ele);// 在跳表中插入新元素znode = zslInsert(zs->zsl, score, ele);// 在哈希表中插入新元素serverAssert(dictAdd(zs->dict, ele, &znode->score) == DICT_OK);*out_flags |= ZADD_OUT_ADDED;if (newscore) *newscore = score;return 1;} else {*out_flags |= ZADD_OUT_NOP;return 1;}} else {serverPanic("Unknown sorted set encoding");}return 0; /* Never reached. */
}
zsetDel
int zsetDel(robj *zobj, sds ele) {// ziplist 编码if (zobj->encoding == OBJ_ENCODING_ZIPLIST) {unsigned char *eptr;// 找到对应的节点if ((eptr = zzlFind(zobj->ptr, ele, NULL)) != NULL) {// 从 ziplist 中删除zobj->ptr = zzlDelete(zobj->ptr, eptr);return 1;}}// skiplist 编码else if (zobj->encoding == OBJ_ENCODING_SKIPLIST) {zset *zs = zobj->ptr;// 从 skiplist 中删除if (zsetRemoveFromSkiplist(zs, ele)) {if (htNeedsResize(zs->dict)) dictResize(zs->dict);return 1;}} else {serverPanic("Unknown sorted set encoding");}return 0; /* No such element found. */
}

Redis 的有序集合通过跳跃表和字典的结合，既保证了成员的唯一性，又提供了高效的排序和检索能力，使其成为处理需要排序数据的理想选择。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/879611.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SQL Server数据库简单的事务日志备份恢复

SQL Server数据库简单的事务日志备份恢复

模拟数据库备份恢复过程 1.基础操作 1.创建TestDB数据库&#xff0c;并添加数据 USE [master] GO CREATE DATABASE TestDB CONTAINMENT NONE ON PRIMARY ( NAME NTestDB, FILENAME ND:\TestDB.mdf , SIZE 8192KB , MAXSIZE UNLIMITED, FILEGROWTH 65536KB ) LOG ON ( …
阅读更多...
【ArcGIS Pro实操第七期】栅格数据合并、裁剪及统计：以全球不透水面积为例

【ArcGIS Pro实操第七期】栅格数据合并、裁剪及统计：以全球不透水面积为例

【ArcGIS Pro实操第七期】批量裁剪&#xff1a;以全球不透水面积为例 准备&#xff1a;数据下载ArcGIS Pro批量裁剪数据集1 数据拼接2 数据裁剪3 数据统计&#xff1a;各栅格取值3.1 栅格计算器-精确提取-栅格数据特定值3.2 数据统计 4 不透水面积变化分析 参考 准备&#xff1…
阅读更多...
DAY13信息打点-Web 应用源码泄漏开源闭源指纹识别GITSVNDS备份

DAY13信息打点-Web 应用源码泄漏开源闭源指纹识别GITSVNDS备份

#知识点 0、Web架构资产-平台指纹识别 1、开源-CMS指纹识别源码获取方式 2、闭源-习惯&配置&特性等获取方式 3、闭源-托管资产平台资源搜索监控 演示案例&#xff1a; ➢后端-开源-指纹识别-源码下载 ➢后端-闭源-配置不当-源码泄漏 ➢后端-方向-资源码云-源码泄漏 …
阅读更多...
[C++进阶]AVL树

[C++进阶]AVL树

前面我们说了二叉搜索树在极端条件下时间复杂度为O(n),本篇我们将介绍一种对二叉搜索树进行改进的树——AVL树 一、AVL 树的概念 二叉搜索树虽可以缩短查找的效率&#xff0c;但如果数据有序或接近有序二叉搜索树将退化为单支树&#xff0c;查找效率低下。因此&#xff0c;两位…
阅读更多...
人工智能和大模型的简介

人工智能和大模型的简介

文章目录 前言一、大模型简介二、大模型主要功能1、自然语言理解和生成2、文本总结和翻译3、文本分类和信息检索4、多模态处理三、大模型的技术特性1、深度学习架构2、大规模预训练3、自适应能力前言 随着技术的进步，人工智能（Artificial Intelligence, AI）和机器学习（Mac…
阅读更多...
【微服务】springboot 整合表达式计算引擎 Aviator 使用详解

【微服务】springboot 整合表达式计算引擎 Aviator 使用详解

目录 一、前言 二、表达式计算框架概述 2.1 规则引擎 2.1.1 什么是规则引擎 2.1.2 规则引擎用途 2.1.3 规则引擎使用场景 2.2 表达式计算框架 2.2.1 表达式计算框架定义 2.2.2 表达式计算框架特点 2.2.3 表达式计算框架应用场景 2.3 表达式计算框架与规则引擎异同点 …
阅读更多...
Pytorch详解-Pytorch核心模块

Pytorch详解-Pytorch核心模块

Pytorch核心模块 一、Pytorch模块结构_pycache__Cincludelibautogradnnoptimutils 二、Lib\site-packages\torchvisiondatasetsmodelsopstransforms 三、核心数据结构——Tensor&#xff08;张量&#xff09;在深度学习中&#xff0c;时间序列数据为什么是三维张量&#xff1f;…
阅读更多...
Imagen：重塑图像生成领域的革命性突破

Imagen：重塑图像生成领域的革命性突破

目录 引言 一、Imagen模型的技术原理 1. 模型概述 2. 工作流程 3. 技术创新 二、Imagen模型的应用实例 1. 创意设计 2. 虚拟角色制作 3. 概念可视化 三、Imagen模型的优势与挑战 1. 优势 2. 挑战 四、Imagen模型的未来发展方向 1. 图像生成质量的提升 2. 多模态…
阅读更多...
SIPp uac.xml 之我见

SIPp uac.xml 之我见

https://sipp.sourceforge.net/doc/uac.xml.html 这个 uac.xml 有没有问题呢&#xff1f; 有&#xff01; 问题之一是&#xff1a; <recv response"200" rtd"true" rrs"true"> 要加 rrs, 仔细看注释就能看到 问题之二是&#xff1…
阅读更多...
vue3补充

vue3补充

form表单重置 const { proxy } getCurrentInstance()!; // 获取挂载在全局的上下文proxy.resetForm(ruleFormRef); // 在el-form中清空ref为ruleFormRef的表单注&#xff1a;不推荐使用 不推荐的原因 类型安全问题&#xff1a; 当在 TypeScript 环境中使用时&#xff0c;…
阅读更多...
算法leecode笔记

算法leecode笔记

具体代码&#xff1a; class Solution { public:vector<int> twoSum(vector<int>& nums, int target) {unordered_map<int, int> hashtable;for (int i 0; i < nums.size(); i) {auto it hashtable.find(target - nums[i]);if (it ! hashtable.end…
阅读更多...
Rust编写Windows服务

Rust编写Windows服务

文章目录 Rust编写Windows服务一&#xff1a;Windows服务程序大致原理二&#xff1a;Rust中编写windows服务三&#xff1a;具体实例 Rust编写Windows服务 编写Windows服务可选语言很多, 其中C#最简单。本着练手Rust语言&#xff0c;尝试用Rust编写一个服务。 一&#xff1a;Win…
阅读更多...
Git之如何删除Untracked文件(六十八)

Git之如何删除Untracked文件(六十八)

简介&#xff1a; CSDN博客专家、《Android系统多媒体进阶实战》一书作者 新书发布&#xff1a;《Android系统多媒体进阶实战》&#x1f680; 优质专栏&#xff1a; Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a; 多媒体系统工程师系列【…
阅读更多...
【编程基础知识】mysql根据某个int字段计算到每一行为止的累加值怎么实现

【编程基础知识】mysql根据某个int字段计算到每一行为止的累加值怎么实现

一、方式一&#xff1a;窗口函数 在MySQL中&#xff0c;可以使用窗口函数&#xff08;Window Functions&#xff09;来计算每一行的累加值。如果你使用的是MySQL 8.0或更高版本&#xff0c;可以使用 SUM() 窗口函数结合 OVER() 子句来实现这个需求。 假设你有一个名为 sales 的…
阅读更多...
Oracle数据库中的动态SQL(Dynamic SQL)

Oracle数据库中的动态SQL(Dynamic SQL)

Oracle数据库中的动态SQL是一种在运行时构建和执行SQL语句的技术。与传统的静态SQL&#xff08;在编写程序时SQL语句就已经确定&#xff09;不同&#xff0c;动态SQL允许开发者在程序执行过程中根据不同的条件或用户输入来构建SQL语句。这使得动态SQL在处理复杂查询、存储过程中…
阅读更多...
【计算机网络】UDP 协议详解及其网络编程应用

【计算机网络】UDP 协议详解及其网络编程应用

文章目录 一、引言二、UDP1、UDP的协议格式2、UDP 报文的解包和分用3、UDP面向数据报的特点 三、UDP输入输出四、UDP网络编程 一、引言 UDP&#xff08;User Datagram Protocol&#xff0c;用户数据报协议&#xff09;是一种网络通信协议&#xff0c;它属于传输层的协议。是一…
阅读更多...
PostgreSQL - tutorial

PostgreSQL - tutorial

本文翻译整理自&#xff1a;官方文档 Preface 和 第一部分&#xff08;I. Tutorial&#xff09; 有需要的可以前往官方文档查看&#xff1a;https://www.postgresql.org/docs/15/index.html 文章目录 序言1.什么是PostgreSQL&#xff1f;2. PostgreSQL简史2.1 伯克利POSTGRES项…
阅读更多...
【linux】ln 命令

【linux】ln 命令

ln 命令在 Linux 系统中用于创建链接&#xff08;links&#xff09;&#xff0c;它允许你创建一个文件的引用&#xff0c;指向该文件系统中的另一个位置。这种链接可以是硬链接&#xff08;hard link&#xff09;或软链接&#xff08;软连接&#xff0c;也称为符号链接&#xf…
阅读更多...
HTTP中的Cookie与Session

HTTP中的Cookie与Session

一、背景 HTTP协议是无状态无连接的。 无状态&#xff1a;服务器不会保存客户端历史请求记录&#xff0c;每一次请求都是全新的。 无连接&#xff1a;服务器应答后关闭连接&#xff0c;每次请求都是独立的。 无状态就导致服务器不认识每一个请求的客户端是否登陆过。 这时…
阅读更多...
【贪心算法】贪心算法

【贪心算法】贪心算法

贪心算法简介 1.什么是贪心算法2.贪心算法的特点3.学习贪心的方向 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&#x1f603; 1.什么是贪心算法 与其说是…
阅读更多...
最新文章

Copyright @ 2022~2023