Redis压缩列表原理与应用分析

 

摘要

Redis是一款著名的key-value内存数据库软件,同时也是一款卓越的数据结构服务软件。它支持字符串、列表、哈希表、集合、有序集合五种数据结构类型,同时每种数据结构类型针对不同的应用场景又支持不同的编码方式。这篇文章主要介绍压缩列表编码,在理解压缩列表编码原理的基础上介绍Redis对压缩列表的应用,最后再对Redis压缩列表应用进行分析。

Redis压缩列表原理与应用

压缩列表是一种数据结构,这种数据结构的功能是将一系列数据与其编码信息存储在一块连续的内存区域,这块内存物理上是连续的,逻辑上被分为多个组成部分,其目的是在一定可控的时间复杂读条件下尽可能的减少不必要的内存开销,从而达到节省内存的效果,这么介绍有点玄乎,我们先一起看看它的实现原理吧,Redis3.2版本中,作者对压缩列表的实现在ziplist.h和ziplist.c中。

压缩列表原理

我认为将数据按照一定规则存储在内存中可以用“编码”这个词描述,因此下面会常用“编码”这个词。

总体编码

上面说到压缩列表是一块连续的内存区域,这块内存区域布编码示意图大致如下:

Redis压缩列表内存编码示意图

常态的压缩列表内存编码如上图所示,整个内存块区域内分为五个部分,下面分别介绍着五个部分:

zlbytes:存储一个无符号整数,固定四个字节长度,用于存储压缩列表所占用的字节,当重新分配内存的时候使用,不需要遍历整个列表来计算内存大小。

zltail:存储一个无符号整数,固定四个字节长度,代表指向列表尾部的偏移量,偏移量是指压缩列表的起始位置到指定列表节点的起始位置的距离。

zllen:压缩列表包含的节点个数,固定两个字节长度,源码中指出当节点个数大于2^16-2个数的时候,该值将无效,此时需要遍历列表来计算列表节点的个数。

entryX:列表节点区域,长度不定,由列表节点紧挨着组成。

zlend:一字节长度固定值为255,用于表示列表结束。

列表元素编码

上面介绍了压缩列表的总体内存布局,对于初entryX区域以外的四个区域的长度都是固定的,下面再看看entryX区域的编码情况。

每个列表节点由三部分组成:

压缩列表节点编码示意图

每个压缩列表节点区域头部包含两部分,一部分叫做previous length,另一部分叫encoding,最后是主体内容,叫做content,下面分别介绍他们:

previous length

用于存储上一个节点的长度,因此压缩列表可以从尾部向头部遍历,即当前节点位置减去上一个节点的长度即得到上一个节点的起始位置。previous length的长度可能是1个字节或者是5个字节,如果上一个节点的长度小于254,则该节点只需要一个字节就可以表示前一个节点的长度了,如果前一个节点的长度大于等于254,则previous length的第一个字节为254,后面用四个字节表示当前节点前一个节点的长度。这么做很有效地减少了内存的浪费。

encoding

节点的encoding保存的是节点的content的内容类型以及长度,encoding类型一共有两种,一种字节数组一种是整数,encoding区域长度为1字节、2字节或者5字节长。Redis作者巧妙的利用了前两个字节来表示content存储的内容类型和encoding区域的长度,我们先看看字节数组类型的encoding内容:

content为字节数组的encoding内容

再看看整数编码类型的encoding内容:

content为整数的encoding内容

content

content区域用于保存节点的内容,节点内容类型和长度由encoding决定,上面可以看出目前content的内容类型有整数类型和字节数组类型,且某些条件下content的长度可能为0。

相信到这里,我们都明白了压缩列表的原理,压缩列表并不是对数据利用某种算法进行压缩,而是将数据按照一定规则编码在一块连续的内存区域,目的是节省内存。下面我们看看压缩列表在Redis中的应用领域。

Redis中压缩列表的应用

Redis中,不同的数据类型广泛地应用了压缩列表编码,整理如下表:

Redis中数据结构类型与压缩列表的应用

上表总结了压缩列表编码在Redis不同的数据类型中的应用,Redis一共支持五种数据结构类型,其中有三种数据结构在一定条件下会应用压缩列表,至于什么条件后面会分析,值得一提的是Redis当前支持的GEO(地理位置)对压缩列表也有应用,具体此处不做讨论。

  4.1.3 LinearSVC实例
  
  from sklearn import datasets
  
  import pandas as pd
  
  iris = datasets.load_iris()
  
  print(iris.keys())
  
  print('labels:',iris['target_names'])
  
  features,labels = iris['data'],iris['target']
  
  print(features.shape,labels.shape)
  
  # 分析数据集
  
  print('-------feature_names:',iris['feature_names'])
  
  iris_df = pd.DataFrame(features)
  
  print('-------info:',iris_df.info())
  
  print('--------descibe:',iris_df.describe())
  
  dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])
  
  labels: ['setosa' 'versicolor' 'virginica']
  
  (150, 4) (150,)
  
  -------feature_names: [www.bdqxylgw.com'sepal length (www.baitengpt.com)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
  
  <class 'pandas.core.frame.DataFrame'>
  
  RangeIndex: 150 entries, 0 to 149
  
  Data columns (www.xcdeyiju.com total 4 columns):
  
  0 150 non-null float64
  
  1 150 non-null float64
  
  2 150 non-null float64
  
  3 150 non-null float64
  
  dtypes: float64(4)
  
  memory usage: 4.8 KB
  
  -------info: None
  
  --------descibe: 0 1 2 3
  
  count 150.000000 150.000000 150.000000 150.000000
  
  mean 5.843333 3.057333 3.758000 1.199333
  
  std 0.828066 0.435866 1.765298 0.762238
  
  min 4.300000 2.000000 1.000000 0.100000
  
  25% 5.100000 2.800000 1.600000 0.300000
  
  50% 5.800000 3.000000 4.350000 1.300000
  
  75% 6.400000 3.300000 5.100000 1.800000
  
  max 7.900000 4.400000 6.900000 2.500000
  
  # 数据进行预处理
  
  from sklearn.preprocessing import StandardScaler,LabelEncoder
  
  from sklearn.model_selection import RandomizedSearchCV
  
  from sklearn.svm import LinearSVC
  
  from scipy.stats import uniform
  
  # 对数据进行标准化
  
  scaler = StandardScaler(www.yifayuled.cn)
  
  X = scaler.fit_transform(features)
  
  print(X.mean(axis=www.baiyiyuLet.com 0))
  
  print(X.std(axis=www.baiyidLu.com 0))
  
  # 对标签进行编码
  
  encoder = LabelEncoder()
  
  Y = encoder.fit_transform(labels)
  
  # 调参
  
  svc = LinearSVC(loss='hinge',dual=True)
  
  param_distributions = {'C':uniform(0,10)}
  
  rscv_clf =RandomizedSearchCV(estimator=svc, param_distributions=param_distributions,cv=3,n_iter=20,verbose=2)
  
  rscv_clf.fit(X,Y)
  
  print(rscv_clf.best_params_)

Redis压缩列表应用分析

上面部分介绍了Redis压缩列表的原理与应用,下面简单分析一下,主要从通过试图回答一些问题来分析:Redis为什么使用压缩列表?使用压缩列表的好处是什么?使用压缩列表的好处还有什么?压缩列表的应用对与我们使用内存有没有什么启发?

Redis对于每种数据结构、无论是列表、哈希表还是有序集合,在决定是否应用压缩列表作为当前数据结构类型的底层编码的时候都会依赖一个开关和一个阈值,开关用来决定我们是否要启用压缩列表编码,阈值总的来说通常指当前结构存储的key数量有没有达到一个数值(条件),或者是value值长度有没有达到一定的长度(条件)。任何策略都有其应用场景,不同场景应用不同策略。为什么当前结构存储的数据条目达到一定数值使用压缩列表就不好?压缩列表的新增、删除的操作平均时间复杂度为O(N),随着N的增大,时间必然会增加,他不像哈希表可以以O(1)的时间复杂度找到存取位置,然而在一定N内的时间复杂度我们可以容忍。然而压缩列表利用巧妙的编码技术除了存储内容尽可能的减少不必要的内存开销,将数据存储于连续的内存区域,这对于Redis本身来说是有意义的,因为Redis是一款内存数据库软件,想办法尽可能减少内存的开销是Redis设计者一定要考虑的事情。

另外,经过仔细琢磨,我认为使用压缩列表的好处除了节约内存之外,还有减少内存碎片的作用,我把这种行为叫做"合并存储",也就是将很多小的数据块存储在一个比较大的内存区域,试想想,如果我们将要存储的数据都是很小的条目,我们为每一个数据条目都单独的申请内存,结果是这些条目将有可能分散在内存的每一个角落,最终导致碎片增加,这是一件令人头疼的事情。

总结

这篇文章在介绍Redis压缩列表原理与应用的基础之上对Redis压缩列表的应用进行分析,分析部分主要掺杂着个人的理解与认知,如果有不同观点或者补充观点,欢迎留言讨论。

转载于:https://www.cnblogs.com/qwangxiao/p/11108995.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483020.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Science公布2021年度十大科学突破,AI这项前所未有的突破上榜

来源&#xff1a; 学术头条撰文&#xff1a;朱哼哼编审&#xff1a;王哈哈排版&#xff1a;李雪薇2021 年 11 月 17 日&#xff0c;Science 杂志公布了 2021 年的年度科学突破榜单&#xff0c;AlphaFold 和 RoseTTA-fold 两种基于人工智能预测蛋白质结构的技术位列榜首。除此之…

linux——线程(2)

文章目录1.pthread_join 函数2.pthread_detach 函数3.pthread_cancel 函数4.终止线程方式5.控制原语对比6.线程属性7.线程属性初始化8.线程的分离状态9.线程使用注意事项1.pthread_join 函数 阻塞等待线程退出&#xff0c;获取线程退出状态 其作用&#xff0c;对应进程中 waitp…

mybatis学习笔记-04-常见错误排查

4.错误排查 1.标签问题 mapper.xml中的namespace&#xff0c;中间是用小圆点隔开的 resource绑定 mapper&#xff0c;需要使用路径!&#xff08;使用/隔开&#xff09; 3.程序配置文件必须符合要求 4.NullPointerException &#xff1a;没有注册到资源 5.输出的xml文件中…

linux——线程通信(1)

文章目录1.同步概念2.线程同步3.数据混乱原因&#xff1a;4.互斥量 mutex5.mutex 主要应用函数&#xff1a;5.1 pthread_mutex_init 函数5.2 pthread_mutex_destroy 函数5.3 pthread_mutex_lock 函数5.4 pthread_mutex_unlock 函数5.5 pthread_mutex_trylock 函数5.6 加锁与解锁…

OpenAI教GPT-3学会上网,「全知全能」的AI模型上线了

来源&#xff1a;机器学习研究组订阅它被命名为 WebGPT&#xff0c;OpenAI 认为浏览网页的方式提高了 AI 解答问题的准确性。如果 AI 学会上网&#xff0c;那么它就拥有了无限获取知识的方式&#xff0c;之后会发生什么就不太好预测了。于是著名 AI 研究机构 OpenAI 教那个开启…

201671030111 李蓉 实验十四 团队项目评审课程学习总结

项目内容这个作业属于哪个课程软件工程这个作业的要求在哪里实验十四 团队项目评审&课程学习总结作业学习目标掌握软件项目评审会流程&#xff0c;反思总结课程学习内容。任务一&#xff1a;结合本学期课程学习内容&#xff0c;对比《实验一 软件工程准备》的任务5你所提的…

linux——线程通信(2)

文章目录1.条件变量1.1 条件变量函数&#xff1a;1.2 pthread_cond_init 函数1.3 pthread_cond_destroy 函数1.4 pthread_cond_wait 函数1.5 pthread_cond_timedwait 函数1.6 pthread_cond_signal 函数1.7 pthread_cond_broadcast 函数2.生产者消费者模型3.条件变量的优点&…

Hadoop(2):常见的MapReduce[在Ubuntu中运行!]

1 以词频统计为例子介绍 mapreduce怎么写出来的 弄清楚MapReduce的各个过程&#xff1a; 将文件输入后&#xff0c;返回的<k1,v1>代表的含义是&#xff1a;k1表示偏移量&#xff0c;即v1的第一个字母在文件中的索引&#xff08;从0开始数的&#xff09;&#xff1b;v1表…

springboot学习笔记-01-springboot-helloworld的编写以及原理初步了解(自动装配)

文章目录原理初探主程序关于spring boot&#xff0c;谈谈你的理解&#xff1a;微服务阶段原理初探 pom.xml spring-boot-dependencies&#xff1a;核心依赖在父工程中&#xff01;我们在写或者引入一些springboot依赖的时候&#xff0c;不需要指定版本&#xff0c;就因为有这…

2022年:机器人技术的重大革命

来源&#xff1a;ScienceAI编辑&#xff1a;萝卜皮一段时间以来&#xff0c;跟踪机器人技术发展的人已经注意到该领域的一场无声革命。虽然自动驾驶汽车占据了所有的头条新闻&#xff0c;但人工智能、机器视觉和机器学习的交叉领域正在迅速成为下一阶段机器人技术的基础。通过将…

SpringBoot无法找到加载类 ,应用Feign其他服务无法package两类问题

无法找到加载类 1.如果在一系列简单的故障&#xff08;有没有加注解或者有没有依赖有没有全面&#xff09;&#xff0c;或者说加载类有没有在根目录src/main/java/(包名)的直接路径下 如果这些都没有 重点来了 把你 .idea 文件删了&#xff0c;运行 2.第二类问题 先把你要…

陈天奇高赞文章:新一代深度学习编译技术变革和展望

来源&#xff1a;机器之心作者&#xff1a;陈天奇陈天奇是机器学习领域著名的青年华人学者之一&#xff0c;本科毕业于上海交通大学ACM班&#xff0c;博士毕业于华盛顿大学计算机系&#xff0c;研究方向为大规模机器学习。在本文中&#xff0c;陈天奇回答了目前深度学习编译技术…

设计模式——桥模式

文章目录1.“单一职责”模式2.动机&#xff08;Motivation&#xff09;3.模式定义4.要点总结5.代码对比1.“单一职责”模式 在软件组件的设计中&#xff0c;如果责任划分的不清晰&#xff0c;使用继承得到的 结果往往是随着需求的变化&#xff0c;子类急剧膨胀&#xff0c;同时…

操作系统欢乐笔记-01-带你推开操作系统的大门(雾)

B站-操作系统-哈尔并工业大学-劝退警告223 文章目录1.什么是操作系统&#xff1f;什么是操作系统&#xff1f;小目标&#xff1f;2.揭开钢琴的盖子熟悉的win开机画面从白纸到图灵机冯-诺依曼一拍脑袋瓜&#xff0c;他说摁下开机键这段不是rap 223 劝退警告emmmmm1.什么是操作系…

oracle Sql语句分类

dml语句&#xff1a;数据操作语句【insert&#xff0c;update&#xff0c;delete】 ddl语句&#xff1a;数据定义语言【create table&#xff0c;drop table】 dql语句&#xff1a;数据查询语句【select】 dtl语句&#xff1a;数据控制语言【commit&#xff0c;rollback】 pack…

2022年值得关注的22项新兴技术

来源&#xff1a;参考消息网英国《经济学人》网站11月8日发表题为《下一个是什么&#xff1f;2022年值得关注的22项新兴技术》的文章。在文章列举的22项新技术中&#xff0c;既有今年大热的“元宇宙”、太空旅游、脑机接口&#xff0c;也有备受期待的量子计算、艾滋病病毒疫苗……

分别安装搭建lamp服务环境

一、 分别安装搭建lamp服务环境 准备工作&#xff1a; 1、配置防火墙&#xff0c;开启80端口、3306端口vi /etc/sysconfig/iptables-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT #允许80端口通过防火墙-A INPUT -m state –state NEW -m tcp -p tcp –dp…

springdata学习笔记-01-helloworld-(暂时不全223)

第一天 orm思想和hibernate以及jpa的概述和jpd的基本操作 传统jdbc操作 获取链接创建statement对象可以对占位符赋值发送查询 操作繁琐占位符赋值麻烦 orm思想 主要目的&#xff1a;操作实体类就相当于操作数据库表建立两个映射关系 实体类和表的映射关系实体类中属性和表中…

oracle函数 INITCAP(c1)

【功能】返回字符串并将字符串的第一个字母变为大写&#xff0c;其它字母小写; 【参数】c1字符型表达式 【返回】字符型 【示例】 SQL> select initcap(smith abc aBC) upp from dual; UPP ----- Smith Abc Abc转载于:https://www.cnblogs.com/fanweisheng/p/11119958.html

设计模式——抽象工厂

文章目录1.“对象创建”模式2.动机&#xff08;Motivation&#xff09;3.模式定义4.要点总结5.代码对比1.“对象创建”模式 通过“对象创建” 模式绕开new&#xff0c;来避免对象创建&#xff08;new&#xff09;过程中所导致的紧耦合&#xff08;依赖具体类&#xff09;&…