读《redis设计与实现》笔记--redis数据结构

redis五大数据结构:string,hash,list,set,zset(有序集合)

redis底层数据结构:简单动态字符串(SDS),链表,字典,跳表,整数集合,压缩列表

底层数据结构详解:

1.简单动态字符串:类似于c的结构体,但是SDS拥有记录已用长度(len)与剩余空间长度(free),当空间不足时会进行扩容。SDS最后会保存一个空字符

所以SDS获取字符串长度的时间复杂度为o(1),SDS自动扩容也不会像C一样产生溢出

利用未使用空间,SDS拥有空间预分配和惰性空间释放两种优化方法。

空间预分配:

修改SDS之后之后,如果len<1MB,将free修改为和len一样的长度,如果len>=1MB,将free修改为1MB。

例如:str = "redis"

如果拼接str与"cluster",那么修改之后len为5+6=11,11+11+1=23,len/free值都是11,加上最后一个空字符,总长为23。

要是str修改之后大小为20MB,那扩容之后就是20MB+1MB+1byte

将扩容需要的次数从最多n次变为至多n次。

惰性空间释放:

不会真正释放内存大小,例如删除redis中的字符e与d,那么str就变为ris,但是free=2。

这样减少释放空间的操作,将来扩容也会减少操作。

tips:SDS有专门的api可以真正释放空间,不用担心惰性释放带来空间的浪费。

二进制安全

C字符串中的字符必须符合某种编码(比如ASCII),并且除了字符串的末尾之外,字符串里面不能包含空字符,否则最先被程序读入的空字符将被误认为是字符串结尾,这些限制使得C字符串只能保存文本数据,而不能保存像图片、音频、视频、压缩文件这样的二进制数据。

因此,为了确保Redis可以适用于各种不同的使用场景,SDS的API都是二进制安全的。

SDS和c的区别:

 

2.链表

应用:列表键的底层实现之一就是链表。当一个列表键包含了数量比较多的元素,又或者列表中包含的元素都是比较长的字符串时,Redis就会使用链表作为列表键的底层实现。

除了链表键之外,发布与订阅、慢查询、监视器等功能也用到了链表,Redis服务器本身还使用链表来保存多个客户端的状态信息,以及使用链表来构建客户端输出缓冲区。

一个链表结点:

链表:

3.字典(key-value)

字典在Redis中的应用相当广泛,比如Redis的数据库就是使用字典来作为底层实现的,对数据库的增、删、查、改操作也是构建在对字典的操作之上的。

字典还是哈希键的底层实现之一,当一个哈希键包含的键值对比较多,又或者键值对中的元素都是比较长的字符串时,Redis就会使用字典作为哈希键的底层实现。

Redis的字典使用哈希表作为底层实现,而每个哈希表节点就保存了字典中的一个键值对。

字典所用的哈希表结构:

每个dictEntry结构保存着一个键值对

dictEntry结构:

字典结构:

type属性是一个指向dictType结构的指针,每个dictType结构保存了一簇用于操作特定类型键值对的函数,Redis会为用途不同的字典设置不同的类型特定函数。

privdata属性则保存了需要传给那些类型特定函数的可选参数。

Redis的哈希表使用链地址法来解决键冲突。

扩展和收缩哈希表的工作可以通过执行rehash(重新散列)操作来完成。

Redis Bgsave 命令用于在后台异步保存当前数据库的数据到磁盘。

对哈希表进行扩展:1.正在执行bgsave,负载因子>=5      2.没有执行bgsave,负载因子>=1

对哈希表进行收缩:负载因子<0.1

渐进式hash:rehash动作并不是一次性、集中式地完成的,而是分多次、渐进式地完成的。

原因:如果哈希表里保存的键值对数量千万甚至亿个键值对,那么要一次性将这些键值对全部rehash的话,庞大的计算量可能会导致服务器在一段时间内停止服务。

所以rehash期间,更新,删除,查找在两个表里进行,旧表查找不到的话去新表查找。

而插入就直接在新表进行,所以旧表只减不增。

字典使用哈希表作为底层实现,每个字典带有两个哈希表,一个平时使用,另一个仅在进行rehash时使用。

4.跳跃表

Redis使用跳跃表作为有序集合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中元素的成员是比较长的字符串时,Redis就会使用跳跃表来作为有序集合键的底层实现。

Redis只在两个地方用到了跳跃表,一个是实现有序集合键,另一个是在集群节点中用作内部数据结构。

每个节点都有向前,向后的指针,向后的可能有多个(看有多少层有这个数据),向前的只有一个。

插入方法:从底层开始,每一层选择插入或者不插入,插入一层的话就停止。

所以第一层的插入概率1/2,第二次1/4...

5.整数集合

整数集合是集合键的底层实现之一。

整数集合的结构:

contents数组各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。contents数组的真正类型取决于encoding属性的值。

升级:

每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级,然后才能将新元素添加到整数集合里面。

升级步骤:1.根据新数据类型,扩展底层数组大小 2.将其他数据设置为新数据类型 3.新元素添加到底层数组

升级好处:一个是提升整数集合的灵活性,另一个是尽可能地节约内存。

节约内存:有int_16,int_32,int_64三种类型,整数集合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存。

没有降级操作。

6.压缩列表

压缩列表是列表键和哈希键的底层实现之一。

一个列表键只包含少量列表项,并且每个列表项要么就是小整数值,要么就是长度比较短的字符串,就会用压缩列表。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484821.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Zookeeper实现Master选举(哨兵机制)

master选举使用场景及结构 现在很多时候我们的服务需要7*24小时工作&#xff0c;假如一台机器挂了&#xff0c;我们希望能有其它机器顶替它继续工作。此类问题现在多采用master-salve模式&#xff0c;也就是常说的主从模式&#xff0c;正常情况下主机提供服务&#xff0c;备机负…

一种用户-系统协同的概念模型

来源&#xff1a;人机与认知实验室翻译&#xff1a;何瑞麟&#xff0c;胡少波&#xff0c;关天海 一种用户-系统协同[的概念模型&#xff1a;增强复合型信息系统的易用性摘要世界各地的许多组织都使用复杂的信息系统&#xff08;例如&#xff0c;企业资源计划和供应链管理系统…

为Openstack制作CentOS7镜像

1&#xff09;CentOS7官方iso改名为centos7.iso并上传至控制节点的/home/image目录&#xff1b; [rootcontroller home]# mkdir image [rootcontroller home]# cd image/ [rootcontroller image]# ll 总用量 4365312 -rw-r--r-- 1 root root 4470079488 11月 3 13:38 centos7.…

下一代汽车的核心竞争力到底是什么?

来源&#xff1a;深城物联全球芯片短缺的情势下&#xff0c;汽车芯片的关注度持续走高。除了硬件外&#xff0c;最近&#xff0c;业内对于车辆软件系统的讨论也越来越热烈。华为近日发布了首款智能电动车极狐阿尔法S&#xff0c;HI版本上首次搭载了自研鸿蒙OS智能互联系统&…

NIO的多线程优化

单线程会浪费多核的优势 单线程如果在某一业务上花费时间过长&#xff0c;会影响其他业务的处理 boss负责连接&#xff0c;worker负责读写 服务端代码&#xff1a; package com.netty.demo;import java.io.IOException; import java.net.InetSocketAddress; import java.nio…

国产CPU深度研究报告(干货,110页)

来源&#xff1a;特大牛 来自特大号&#xff08;ITXXXL&#xff09;来自特大号&#xff08;ITXXXL&#xff09;来自特大号&#xff08;ITXXXL&#xff09;来自特大号&#xff08;ITXXXL&#xff09;来自特大号&#xff08;ITXXXL&#xff09;未来智能实验室的主要工作包括&…

logging模块(* * * * *)

一 (简单应用)、 import logging logging.debug(debug message) logging.info(info message) logging.warning(warning message) logging.error(error message) logging.critical(critical message) 输出&#xff1a; WARNING:root:warning messageERROR:root:erro…

业界首个!华为联合中国信通院等发布《网络体系强基展望白皮书》

来源&#xff1a; 华为数据通信编辑&#xff1a; 杨盼近日&#xff0c;华为联合中国信息通信研究院等单位&#xff0c;共同发布《网络体系强基展望白皮书》(以下简称《白皮书》)。《网络体系强基展望白皮书》从工业网络现状、趋势和需求出发&#xff0c;首次提出了“工业设备网…

【原】Win SQL Server2012 IIS 安装(图文详解)

1、进入服务器管理&#xff0c;点击添加“添加角色和功能” 2、单击“安装类型”&#xff0c;然后选择“基于角色或者功能得安装”&#xff0c;单击下一步 3、选择“从服务器池中选择服务器”&#xff0c;单击下一步 4、在角色列表里面找到“Web服务器(IIS)”&#xff0c;并勾选…

终极孵化器:仿生婴儿的美丽新世界

Conceptual Photograph: The Voorhes来源&#xff1a; IEEE电气电子工程师子宫是人类生物学中最复杂的构造之一&#xff1a;可以帮助完成从胚胎到胎儿再到婴儿的壮举。但是如果没有胎盘&#xff0c;这种巨大的转化也是不可能实现的&#xff0c;胎盘是一种赋予生命的器官&#x…

学界丨北大清华合力打造通用人工智能实验班,朱松纯教授领衔

来源&#xff1a;北京大学微信公众号、AI科技评论、新智元据悉&#xff0c;首批北大通班同学已经开课&#xff0c;清华通班也已启动首批招生。师资方面&#xff0c;清华和北大各有优势学科&#xff0c;在通班的合作上可以优势互补&#xff1b;在平台方面&#xff0c;以朱松纯教…

struts2_模型驱动

一.注意点 建立实现ModelDriven接口的action类在该action类中,创建实体对象并new在getModel返回该对象在显示页面中提交的表单name正常写二.案例 创建实体类User: package com.ahd.entity;import com.opensymphony.xwork2.ModelDriven;public class User{private String userna…

美智库预言特斯拉十年内退出中国:已踩红线,谷歌就是前车之鉴

来源&#xff1a;厚势汽车编辑&#xff1a;琪琪2020 年年末&#xff0c;在经历了 8 年的发展期后&#xff0c;特斯拉终于在中国市场站稳了脚跟。2020 年销售暴涨&#xff0c;在中国电动车市场占比达到 21% &#xff0c;全球仅第四季度就交付 18 万辆电动车&#xff0c;相对于第…

222页斯坦福人工智能报告出炉:全球AI投资猛增680亿,北美博士学术机构就业率下降

来源&#xff1a;中国自动化学会编辑 ∑Gemini1、我们生活在一个「人工智能」的时代如图所示&#xff0c;人工智能的研究正在蓬勃发展&#xff1a;在2019年&#xff0c;全球发表了超过12万篇的AI论文。在2000年至2019年之间&#xff0c;人工智能的论文占所有同行评审论文的比例…

量子理论的哲学宣言

来源&#xff1a;《中国社会科学》2019年第2期作者&#xff1a;成素梅&#xff08;上海社会科学院&#xff09;本文为国家社会科学基金重大项目“当代量子论与新科学哲学的兴起”(16ZDA113)阶段性成果。关于量子理论的哲学研究有两个层次&#xff0c;一是根据量子理论及其技术的…

2050大会走向通用人工智能专场总结

来源&#xff1a;混沌巡洋舰这两天主持了阿里云A组召集的杭州云栖小镇的2050大会《走向更加通用的人工智能》专场。活动分为论坛和深度交流两部分。也邀请了来自神经符号&#xff0c;类脑计算&#xff0c;复杂系统的很多朋友共同交流。我觉得如果来总结这个主题&#xff0c; 我…

一种基于平衡二叉树(AVL树)插入、查找和删除的简易图书管理系统

目录1. 需求分析2. 项目核心设计2.1 结点插入2.2 结点删除3 测试结果4 总结分析4.1 调试过程中的问题是如何解决的&#xff0c;以及对设计与实现的回顾讨论和分析4.2 算法的时间和空间复杂度的分析&#xff0c;以及进一步改进的设想4.3 本次实验的经验和体会5 完整代码(C)1. 需…

物联网产业104页深度研究报告:物联网研究框架与投资机会分析

报告出品方&#xff1a;国信证券作者&#xff1a;马成龙、付晓钦、陈彤1物联网是未来五年甚至十年的大赛道1.1 物联网&#xff1a;下一代网络网络革命的本质是连接主体和连接方式的变化&#xff1a;第一代互联网&#xff08;PC互联网&#xff09;是计算机与计算机之间的联网&am…

随笔:朋友圈扫街图有感(爱情)

#声明&#xff1a;照片来自我的一位甘姓友人&#xff0c;并非本人所拍。但为之感动&#xff0c;尤其震撼。 皮夹里老照片上恰风华正茂的少年&#xff0c;但如今一双褶皱的手&#xff0c;缓缓掏出过了时的纸币&#xff0c;无疑岁月蹉跎&#xff0c;当年的Ta早已成了耄耋老人。说…

浅谈SDN架构下的运维工作

导读目前国内的网络运维还处于初级阶段&#xff0c;工作人员每天就像救火一样&#xff0c;天天疲于奔命。运维人员只能埋头查找系统运行的日志&#xff0c;耗时耗力&#xff0c;老眼昏花不说&#xff0c;有时候忙了半天还一无所获&#xff0c;作为运维工程师的你&#xff0c;有…