Redis——简单动态字符串（Simple Dynamic Strings,SDS）

简单动态字符串（Simple Dynamic Strings,SDS）是Redis的基本数据结构之一，用于存储字符串和整型数据。SDS兼容C语言标准字符串处理函数，且在此基础上保证了二进制安全。

1、数据结构

在了解SDS源码前，我们先思考一个问题：如何实现一个扩容方便且二进制安全的字符串呢？

注意： 什么是二进制安全？通俗地讲，C语言中，用“\0”表示字符串的结束，如果字符串中本身就有“\0”字符，字符串就会被截断，即非二进制安全；若通过某种机制，保证读写字符串时不损害其内容，则是二进制安全。

SDS既然是字符串，那么首先需要一个字符串指针；为了方便上层的接口调用，该结构还需要记录一些统计信息，如当前数据长度和剩余容量等，例如：

    struct sds {int len; // buf中已占用字节数int free; // buf中剩余可用字节数char buf[]; // 数据空间};

SDS结构示意如下图所示，在64位系统下，字段len和字段free各占4个字节，紧接着存放字符串：
在这里插入图片描述
Redis 3.2之前的SDS也是这样设计的。这样设计有以下几个优点：

  • 有单独的统计变量len和free（称为头部）。可以很方便地得到字符串长度。
  • 内容存放在柔性数组buf中，SDS对上层暴露的指针不是指向结构体SDS的指针，而是直接指向柔性数组buf的指针。上层可像读取C字符串一样读取SDS的内容，兼容C语言处理字符串的各种函数。
  • 由于有长度统计变量len的存在，读写字符串时不依赖“\0”终止符，保证了二进制安全。

注意： 上例中的buf[]是一个柔性数组。柔性数组成员（flexible array member），也叫伸缩性数组成员，只能被放在结构体的末尾。包含柔性数组成员的结构体，通过malloc函数为柔性数组动态分配内存。

之所以用柔性数组存放字符串，是因为柔性数组的地址和结构体是连续的，这样查找内存更快（因为不需要额外通过指针找到字符串的位置）；可以很方便地通过柔性数组的首地址偏移得到结构体首地址，进而能很方便地获取其余变量。

到这里我们实现了一个最基本的动态字符串，但是该结构是否有改进的空间呢？我们从一个简单的问题开始思考：不同长度的字符串是否有必要占用相同大小的头部？一个int占4字节，在实际应用中，存放于Redis中的字符串往往没有这么长，每个字符串都用4字节存储未免太浪费空间了。我们考虑三种情况：短字符串，len和free的长度为1字节就够了；长字符串，用2字节或4字节；更长的字符串，用8字节。

这样确实更省内存，但依然存在以下问题：

  • 问题1：如何区分这3种情况？
  • 问题2：对于短字符串来说，头部还是太长了。以长度为1字节的字符串为例，len和free本身就占了2个字节，能不能进一步压缩呢？

对于问题1，我们考虑增加一个字段flags来标识类型，用最小的1字节来存储，且把flags加在柔性数组buf之前，这样虽然多了1字节，但通过偏移柔性数组的指针即能快速定位flags，区分类型，也可以接受；对于问题2，由于len已经是最小的1字节了，再压缩只能考虑用位来存储长度了。

结合两个问题，5种类型（长度1字节、2字节、4字节、8字节、小于1字节）的SDS至少要用3位来存储类型（2^3=8）,1个字节8位，剩余的5位存储长度，可以满足长度小于32的短字符串。在Redis 5.0中，我们用如下结构来存储长度小于32的短字符串：

    struct __attribute__ ((__packed__))sdshdr5 {unsigned char flags; /＊ 低3位存储类型，高5位存储长度 ＊/char buf[]; /＊柔性数组，存放实际内容＊/};

sdshdr5结构（下图）中，flags占1个字节，其低3位（bit）表示type，高5位（bit）表示长度，能表示的长度区间为0～31（25-1）, flags后面就是字符串的内容。
在这里插入图片描述
而长度大于31的字符串，1个字节依然存不下。我们按之前的思路，将len和free单独存放。sdshdr8、sdshdr16、sdshdr32和sdshdr64的结构相同，sdshdr16结构如下图所示：
在这里插入图片描述
其中“表头”共占用了S[2(len)+2(alloc)+1(flags)]个字节。flags的内容与sdshdr5类似，依然采用3位存储类型，但剩余5位不存储长度。

在Redis的源代码中，对类型的宏定义如下：

    #define SDS_TYPE_5   0#define SDS_TYPE_8   1#define SDS_TYPE_16 2#define SDS_TYPE_32 3#define SDS_TYPE_64 4

在Redis 5.0中，sdshdr8、sdshdr16、sdshdr32和sdshdr64的数据结构如下：

    struct __attribute__((__packed__))sdshdr8 {uint8_t len; /＊ 已使用长度，用1字节存储 ＊/uint8_t alloc; /＊ 总长度，用1字节存储＊/unsigned char flags; /＊ 低3位存储类型，高5位预留 ＊/char buf[]; /＊柔性数组，存放实际内容＊/};struct __attribute__((__packed__))sdshdr16 {uint16_t len; /＊已使用长度，用2字节存储＊/uint16_t alloc; /＊ 总长度，用2字节存储＊/unsigned char flags; /＊ 低3位存储类型，高5位预留 ＊/char buf[]; /＊柔性数组，存放实际内容＊/};struct __attribute__((__packed__))sdshdr32 {uint32_t len; /＊已使用长度，用4字节存储＊/uint32_t alloc; /＊ 总长度，用4字节存储＊/unsigned char flags; /＊ 低3位存储类型，高5位预留 ＊/char buf[]; /＊柔性数组，存放实际内容＊/};struct __attribute__((__packed__))sdshdr64 {uint64_t len; /＊已使用长度，用8字节存储＊/uint64_t alloc; /＊ 总长度，用8字节存储＊/unsigned char flags; /＊ 低3位存储类型，高5位预留 ＊/char buf[]; /＊柔性数组，存放实际内容＊/};

可以看到，这4种结构的成员变量类似，唯一的区别是len和alloc的类型不同。结构体中4个字段的具体含义分别如下：

  • len：表示buf中已占用字节数。
  • alloc：表示buf中已分配字节数，不同于free，记录的是为buf分配的总长度。
  • flags：标识当前结构体的类型，低3位用作标识位，高5位预留。
  • buf：柔性数组，真正存储字符串的数据空间。

2、基本操作

数据结构的基本操作不外乎增、删、改、查，SDS也不例外。由于Redis 3.2后的SDS涉及多种类型，修改字符串内容带来的长度变化可能会影响SDS的类型而引发扩容。

2.1、创建字符串

Redis通过sdsnewlen函数创建SDS。在函数中会根据字符串长度选择合适的类型，初始化完相应的统计值后，返回指向字符串内容的指针，根据字符串长度选择不同的类型：

    sds sdsnewlen(const void ＊init, size_t initlen) {void ＊sh;sds s;char type = sdsReqType(initlen); //根据字符串长度选择不同的类型if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8; //SDS_TYPE_5强制转化为SDS_TYPE_8int hdrlen = sdsHdrSize(type); //计算不同头部所需的长度unsigned char ＊fp; /＊ 指向flags的指针 ＊/sh = s_malloc(hdrlen+initlen+1); //"+1"是为了结束符’\0'...s = (char＊)sh+hdrlen; //s是指向buf的指针fp = ((unsigned char＊)s)-1; //s是柔性数组buf的指针，-1即指向flags...s[initlen] = '\0'; //添加末尾的结束符return s;}

注意： Redis 3.2后的SDS结构由1种增至5种，且对于sdshdr5类型，在创建空字符串时会强制转换为sdshdr8。原因可能是创建空字符串后，其内容可能会频繁更新而引发扩容，故创建时直接创建为sdshdr8。

创建SDS的大致流程：首先计算好不同类型的头部和初始长度，然后动态分配内存。需要注意以下3点：

  • 创建空字符串时，SDS_TYPE_5被强制转换为SDS_TYPE_8。
  • 长度计算时有“+1”操作，是为了算上结束符“\0”。
  • 返回值是指向sds结构buf字段的指针。

返回值sds的类型定义如下：

    typedef char ＊sds;

从源码中我们可以看到，其实s就是一个字符数组的指针，即结构中的buf。这样设计的好处在于直接对上层提供了字符串内容指针，兼容了部分C函数，且通过偏移能迅速定位到SDS结构体的各处成员变量。

2.2、释放字符串

SDS提供了直接释放内存的方法——sdsfree，该方法通过对s的偏移，可定位到SDS结构体的首部，然后调用s_free释放内存：

    void sdsfree(sds s) {if (s == NULL) return;s_free((char＊)s-sdsHdrSize(s[-1])); //此处直接释放内存}

为了优化性能（减少申请内存的开销）, SDS提供了不直接释放内存，而是通过重置统计值达到清空目的的方法——sdsclear。该方法仅将SDS的len归零，此处已存在的buf并没有真正被清除，新的数据可以覆盖写，而不用重新申请内存：

    void sdsclear(sds s) {sdssetlen(s, 0); //统计值len归零s[0] = '\0'; //清空buf}

2.3、拼接字符串

拼接字符串操作本身不复杂，可用sdscatsds来实现，代码如下：

    sds sdscatsds(sds s, const sds t) {return sdscatlen(s, t, sdslen(t));}

sdscatsds是暴露给上层的方法，其最终调用的是sdscatlen。由于其中可能涉及SDS的扩容，sdscatlen中调用sdsMakeRoomFor对带拼接的字符串s容量做检查，若无须扩容则直接返回s；若需要扩容，则返回扩容好的新字符串s。函数中的len、curlen等长度值是不含结束符的，而拼接时用memcpy将两个字符串拼接在一起，指定了相关长度，故该过程保证了二进制安全。最后需要加上结束符。

    /＊ 将指针t的内容和指针s的内容拼接在一起，该操作是二进制安全的＊/sds sdscatlen(sds s, const void ＊t, size_t len) {size_t curlen = sdslen(s);s = sdsMakeRoomFor(s, len);if (s == NULL) return NULL;memcpy(s+curlen, t, len); //直接拼接，保证了二进制安全sdssetlen(s, curlen+len);s[curlen+len] = '\0'; //加上结束符return s;}

下图描述了sdsMakeRoomFor的实现过程。
在这里插入图片描述
Redis的sds中有如下扩容策略：
1）若sds中剩余空闲长度avail大于新增内容的长度addlen，直接在柔性数组buf末尾追加即可，无须扩容。代码如下：

    sds sdsMakeRoomFor(sds s, size_t addlen){void ＊sh, ＊newsh;size_t avail = sdsavail(s);size_t len, newlen;char type, oldtype = s[-1] & SDS_TYPE_MASK; //s[-1]即flagsint hdrlen;if (avail >= addlen) return s; //无须扩容，直接返回...}

2）若sds中剩余空闲长度avail小于或等于新增内容的长度addlen，则分情况讨论：新增后总长度len+addlen<1MB的，按新长度的2倍扩容；新增后总长度len+addlen>1MB的，按新长度加上1MB扩容。代码如下：

    sds sdsMakeRoomFor(sds s, size_t addlen){...newlen = (len+addlen);if (newlen < SDS_MAX_PREALLOC)// SDS_MAX_PREALLOC这个宏的值是1MBnewlen ＊= 2;elsenewlen += SDS_MAX_PREALLOC;...}

3）最后根据新长度重新选取存储类型，并分配空间。此处若无须更改类型，通过realloc扩大柔性数组即可；否则需要重新开辟内存，并将原字符串的buf内容移动到新位置。具体代码如下：

    sds sdsMakeRoomFor(sds s, size_t addlen){...type = sdsReqType(newlen);/＊ type5的结构不支持扩容，所以这里需要强制转成type8＊/if (type == SDS_TYPE_5) type = SDS_TYPE_8;hdrlen = sdsHdrSize(type);if (oldtype==type) {/＊无须更改类型，通过realloc扩大柔性数组即可，注意这里指向buf的指针s被更新了＊/newsh = s_realloc(sh, hdrlen+newlen+1);if (newsh == NULL) return NULL;s = (char＊)newsh+hdrlen;} else {/＊ 扩容后数据类型和头部长度发生了变化，此时不再进行realloc操作，而是直接重新开辟内存，拼接完内容后，释放旧指针＊/newsh = s_malloc(hdrlen+newlen+1); //按新长度重新开辟内存if (newsh == NULL) return NULL;memcpy((char＊)newsh+hdrlen, s, len+1); //将原buf内容移动到新位置s_free(sh); //释放旧指针s = (char＊)newsh+hdrlen; //偏移sds结构的起始地址，得到字符串起始地址s[-1] = type; //为falgs赋值sdssetlen(s, len); //为len属性赋值}sdssetalloc(s, newlen); //为alloc属性赋值return s;}

2.4、其余API

下表列出了其他常用的API：
在这里插入图片描述
学习时把握以下两点：

  • SDS暴露给上层的是指向柔性数组buf的指针。
  • 读操作的复杂度多为O(1)，直接读取成员变量；涉及修改的写操作，则可能会触发扩容。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/197304.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【模电】设置静态工作点的必要性

【模电】设置静态工作点的必要性

设置静态工作点的必要性 静态工作点为什么要设置静态工作点 静态工作点 在放大电路中&#xff0c;当有信号输入时&#xff0c;交流量与直流量共存。将输入信号为零、即直流电源单独作用时晶体管的基极电流 I B I\tiny B IB、集电极电流 I C I\tiny C IC、b - e间电压 U B E U\t…
阅读更多...
oops-framework框架 之 Excel转Json

oops-framework框架 之 Excel转Json

引擎&#xff1a; CocosCreator 3.8.0 环境&#xff1a; Mac Gitee: oops-plugin-excel-to-json 注&#xff1a; 作者dgflash的oops-framework框架QQ群&#xff1a; 628575875 配置 作者dgflash在oops-framework的框架中&#xff0c;提供了关于Excel数据表转换为Json和TypeSc…
阅读更多...
对抗神经网络 CGAN实战详解 完整数据代码可直接运行

对抗神经网络 CGAN实战详解 完整数据代码可直接运行

代码视频讲解： 中文核心项目：对抗神经网络 CGAN实战详解 完整代码数据可直接运行_哔哩哔哩_bilibili 运行图： 完整代码： from keras.layers import Input, Dense, Reshape, Flatten, Dropout, multiply from keras.layers import BatchNormalization, Activation, Embedd…
阅读更多...
uniapp是否可以用vant等移动端UI库、使用步骤以及需要注意的问题

uniapp是否可以用vant等移动端UI库、使用步骤以及需要注意的问题

文章目录 使用vant步骤使用中遇到的问题在浏览器中的运行效果综上&#xff0c;不建议uniapp项目使用vant。 使用vant步骤 首先vant可以兼容uniapp&#xff0c;直接用vant版就好。微信小程序专用版本是&#xff1a;vant-weapp。 基本使用步骤&#xff1a; 1、安装 # 安装 Va…
阅读更多...
实战技巧：为Android应用设置独立的多语言

实战技巧：为Android应用设置独立的多语言

原文链接 实战技巧&#xff1a;为Android应用设置独立的多语言 通常情况下多语言的设置都在系统设置中&#xff0c;应用需要做的就是提供本应用所使用的字串的多语言翻译&#xff0c;使用时使用R.string.app_name类似的引用&#xff0c;然后系统会根据用户在系统设置中的选项来…
阅读更多...
python系统调用执行ping命令无法检测到超时情况（破案了：ping命令-W参数单位为s，我写了个1000）

python系统调用执行ping命令无法检测到超时情况（破案了：ping命令-W参数单位为s，我写了个1000）

文章目录 问题描述破案了&#xff1a;ping命令-W参数单位为s&#xff0c;我写了个1000。。。,,ԾㅂԾ,, 问题描述 我用了系统调用去执行ping&#xff0c;一开始用os.system()&#xff0c;有问题&#xff0c;后面用subprocess问题还是存在&#xff0c;后来我把这个改了&#xff…
阅读更多...
“Python: Configure Tests“ not found解决方案

“Python: Configure Tests“ not found解决方案

最近想尝试尝试学学软件测试。正好电脑上安装了vscode&#xff0c; 又懒得装pycharm&#xff0c;所以就用vscode了。 遇到的问题 跟着vscode运行unittest框架想运行一下测试用例文件。【前提是文件名一定要包含test&#xff0c;文件里要导入unittest的包&#xff0c;类要继承…
阅读更多...
竞赛选题YOLOv7 目标检测网络解读

竞赛选题YOLOv7 目标检测网络解读

文章目录 0 前言1 yolov7的整体结构2 关键点 - backbone关键点 - head3 训练4 使用效果5 最后 0 前言 世界变化太快&#xff0c;YOLOv6还没用熟YOLOv7就来了&#xff0c;如果有同学的毕设项目想用上最新的技术&#xff0c;不妨看看学长的这篇文章&#xff0c;学长带大家简单的…
阅读更多...
36.位运算符

36.位运算符

一.什么是位运算符 按照二进制位来进行运算的运算符叫做位运算符&#xff0c;所以要先将操作数转换成二进制&#xff08;补码&#xff09;的形式在运算。C语言的中的位运算符有&#xff1a; 运算符作用举例结果& 按位与&#xff08;and&#xff09; 0&00; 0&10; …
阅读更多...
Linux进程间通信——共享内存

Linux进程间通信——共享内存

Linux进程间通信——共享内存 1、创建/打开共享内存1.1 shmget1.2 ftok 2、关联和接触关联2.1 shmat2.2 shmdt 3、删除共享内存3.1 shmctl 3.2 相关shell命令3.3 共享内存状态4、进程间通信5、shm和mmap的区别 原文链接 共享内存不同于内存映射区&#xff0c;它不属于任何进程…
阅读更多...
基于现代学徒制的大数据技术与应用人才培养模式探讨

基于现代学徒制的大数据技术与应用人才培养模式探讨

学生学徒制的实施旨在解决当前新技术企业招聘技能人才难和青年就业难的结构性矛盾&#xff0c;通过生态链链主企业携手院校共同解决毕业年度学生就业问题&#xff0c;按照学生个人意愿&#xff0c;建立以就业导向的学生学徒制关系&#xff0c;签订学徒培养协议确定学生就业岗位…
阅读更多...
【Java基础】几种拼接字符串的方法

【Java基础】几种拼接字符串的方法

几种拼接字符串的方法 1.使用 "" 运算符拼接字符串2.使用 StringBuilder 或 StringBuffer 类3.使用 StringJoiner 类4.使用 String 类 join 方法5.使用 StringUtils 类6.使用 String 类 concat 方法7.使用 String.format() 方法格式化字符串8.使用 Stream 实现9.总结…
阅读更多...
Python-图片去重

Python-图片去重

直接上代码 # 修改一下第34行文件夹路径以及13行图片后缀名即可使用 import os from hashlib import md5def remove_duplicate_images(folder_path):image_files []duplicate_images set()# 遍历文件夹&#xff0c;找到所有 JPG 图片文件for root, dirs, files in os.walk(f…
阅读更多...
智能优化算法应用：基于黑猩猩算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于黑猩猩算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于黑猩猩算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于黑猩猩算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.黑猩猩算法4.实验参数设定5.算法结果6.参考文献7.…
阅读更多...
Proteus8.16仿真软件安装图文教程（Proteus 8 Professional）

Proteus8.16仿真软件安装图文教程（Proteus 8 Professional）

Proteus8.16 &#x1f527;软件安装包下载链接&#xff1a;&#x1f527;视频教程&#x1f527;1 安装软件解压&#x1f527;2 安装&#x1f527;3 破解&#x1f527;4 汉化 &#x1f527;软件安装包下载链接&#xff1a; Proteus8.16软件下载链接 1、本文关于Proteus8.16 SP…
阅读更多...
双击热备方案实现（全）

双击热备方案实现（全）

双击热备是应用与服务器的一种解决方案&#xff0c;其构造思想是主机和从机通过TCP/IP网络连接&#xff0c;正常情况下主机处于工作状态&#xff0c;从机处于监视状态&#xff0c;一旦从机发现主机异常&#xff0c;从机将会在很短的时间内代替主机。完全实现主机的功能。 要想实…
阅读更多...
golang之net/http模块学习

golang之net/http模块学习

文章目录 开启服务开启访问静态文件获取现在时间按时间创建一个空的json文件按时间创建一个固定值的json文件 跨域请求处理输出是json 开启服务 package mainimport ("fmt""net/http" )//路由 func handler(w http.ResponseWriter, r *http.Request){fmt.…
阅读更多...
2023年多元统计分析期末试题

2023年多元统计分析期末试题

一、简答题 1、试述距离判别法、Fisher判别法和贝叶斯判别法的异同。 二、 2、设 X {X} X~ N 2 {N_2} N2​(μ&#xff0c;Σ)&#xff0c;其中 X {X} X ~ ( X 1 {X_1} X1​, X 2 {X_2} X2​, X 3 {X_3} X3​)&#xff0c;μ ( μ 1 {μ_1} μ1​&#xff0c; μ 2 {μ_2} …
阅读更多...
2024不收费的数据恢复软件EasyRecovery16

2024不收费的数据恢复软件EasyRecovery16

EasyRecovery2024是一款操作安全、用户可自主操作的数据恢复方案&#xff0c;它支持从各种各样的存储介质恢复删除或者丢失的文件&#xff0c;其支持的媒体介质包括&#xff1a;硬盘驱动器、光驱、闪存、硬盘、光盘、U盘/移动硬盘、数码相机、手机以及其它多媒体移动设备。能恢…
阅读更多...
软件测试【理论基础】

软件测试【理论基础】

软件测试的IEEE定义&#xff1a;使用人工或自动的手段来运行或测量软件系统的过程&#xff0c;目的是检验软件系统是否满足规定的需求&#xff0c;并找出与预期结果之间的差异。 软件测试的发展趋势&#xff1a; ①　测试工作将进一步前移。软件测试不仅仅是单元测试、集成测…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023