Redis网络模型

文章目录

  • Redis网络模型
    • 用户空间与内核空间
    • 阻塞IO
    • 非阻塞IO
    • IO多路复用
      • 事件通知机制
      • web服务流程
    • 信号驱动IO
    • 异步IO
      • 异步与同步
    • 网络模型

Redis网络模型

用户空间与内核空间

服务器大多采用的是Linux系统,使用的应用都是需要通过Linux内核与硬件交互。

image-20230602150840951

为了避免用户应用导致冲突甚至内核崩溃,用户应用于内核的空间是分离的:

  • 进程的寻址空间(如一台32位的电脑,则其寻址空间为0~2 3 ^3 3 2 ^2 2,其空间大小为4G)会划分为两个部分:内核空间用户空间
  • 用户空间只能执行受限的命令(Ring3),而且不能直接调用系统资源,必须通过内核提供的接口来访问。
  • 内核空间可以执行特殊命令(Ring0),调用一切系统资源。

image-20230602152317558

Linux为了提高IO效率,在用户空间和内核空间都加入缓冲区:

  • 在写数据的时候,会把用户缓冲数据拷贝到内核缓冲区,然后写入设备。
  • 在读数据的时候,要从设备读取数据到内核缓冲区,然后拷贝到用户缓冲区。

image-20230602152642614


阻塞IO

IO流的模型

image-20230602153145490

阻塞IO即用户进程在两个阶段都必须阻塞等待。

阶段一:

  1. 用户进程尝试读取数据。
  2. 此时数据尚未到达,内核需要等待数据。
  3. 此时用户进程处于阻塞状态。

阶段二:

  1. 数据到达并拷贝到内核缓冲区(数据已就绪)。
  2. 将内核数据拷贝到用户缓冲区。
  3. 拷贝过程中,用户进程依然阻塞等待。
  4. 拷贝完成,用户进程解除阻塞,并开始处理数据。

image-20230602153238214

由此可以看出,这种IO模型的性能是很低的。


非阻塞IO

非阻塞IO的recvfrom操作会立即返回结果而非阻塞用户进程。

阶段一:

  1. 用户进程尝试读取数据。
  2. 此时数据尚未到达,内核需要等待数据。
  3. 返回异常给用户进程。
  4. 用户进程拿到error后,再次尝试读取。
  5. 循环往复,直到数据就绪。

阶段二:

  1. 将内核数据拷贝到用户缓冲区。
  2. 拷贝过程中,用户进程依然阻塞等待。
  3. 拷贝完成,用户进程解除阻塞,处理数据。

image-20230602153939269

可以看到,非阻塞IO模型中,用户进程在第一个阶段是非阻塞,第二个阶段是阻塞状态。虽然是非阻塞,但性能并没有得到提高。而且忙等机制会导致CPU空转,CPU使用率暴增。


IO多路复用

无论是阻塞IO还是非阻塞IO,用户应用在一阶段都需要调用recvfrom来获取数据,差别在于无数据时的处理方案:

  • 如果调用recvfrom时,恰好没有数据,阻塞IO会使CPU阻塞,非阻塞IO使CPU空转,都不能充分发挥CPU的作用。

  • 如果调用recvfrom时,恰好数据,则用户进程可以直接进入第二阶段,读取并处理数据。

而在单线程情况下,只能依次处理IO事件,如果正在处理的IO事件恰好未就绪(数据不可读或不可写),线程就会被阻塞,所有IO事件都必须等待,性能自然会很差。

① 等待数据就绪。

② 读取数据。

要提高效率有几种办法?

  • 方案一:使用多线程。

  • 方案二:数据就绪了,用户应用就去读取数据。


文件描述符:简称FD,是一个从0开始递增的无符号整数,用来关联Linux中的一个文件。在Linux中,一切皆为文件,例如常规的文本文件、视频、硬件设备等,也包括网络套接字(Socket)。

IO多路复用:是利用单个线程来同时监听多个FD,并在某个FD可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。

image-20230602160223783

常见的监听FD的方式、通知的方式的实现有:selectpollepoll

那这三种实现的有什么差异呢?

  • select和poll只会通知用户进程有FD就绪,但不确定具体是哪个FD,需要用户进程逐个遍历FD来确认。
  • epoll则会在通知用户进程FD就绪的同时,将已就绪的FD写入用户空间。

select

select是Linux中最早的I/O多路复用实现方案:

image-20230602161737943

执行流程:

  1. 将需要监听的fd大小的对应位数的比特位标记成1(默认初始化为0),执行select函数。
  2. 在执行select函数时,将fd_set集合拷贝传递到内核空间。
  3. 传递完成之后,内核空间会遍历监听fd_set集合直至fd的最大位(被标记的fd),是否有数据就绪(已就绪的保留,未就绪的重置为0)。

image-20230602162301589

  1. 当有数据就绪或等待超时,内核空降会将监听状态的fd_set集合拷贝传递到用户空间,覆盖掉原来的fd_set集合中的数据,并告知用户空间有几个数据已经就绪。
  2. 用户空间遍历新的fd_set集合,并读取已就绪的数据。

image-20230602164334694

select模式存在的问题:

  • 需要将整个fd_set从用户空间拷贝到内核空间,select结束还要再次拷贝回用户空间。
  • select无法得知具体是哪个fd就绪,需要遍历整个fd_set。
  • fd_set监听的fd数量不能超过1024。

poll

poll模式对select模式做了简单改进,但性能提升不明显。

image-20230602164759710

IO流程:

① 创建pollfd数组,向其中添加关注的fd信息,数组大小自定义。

② 调用poll函数,将pollfd数组拷贝到内核空间,转链表存储,无上限。

③ 内核遍历fd,判断是否就绪。

④ 数据就绪或超时后,拷贝pollfd数组到用户空间,返回就绪fd数量n。

⑤ 用户进程判断n是否大于0。

⑥ 大于0则遍历pollfd数组,找到就绪的fd。

poll与select对比:

  • select模式的fd_set大小固定为1024,而pollfd在内核中采用链表模式,理论上无上限。
  • 监听的FD越多,每次遍历消耗的时间也越久,性能反而会下降。

epoll

epoll模式是对select和poll的改进,其提供了三个函数:

image-20230602170220027

流程图:

image-20230602170247764


对比这三种方式,总结出select与poll存在的问题,以及epoll是如何解决这些问题的。

select存在的问题:

  • 能监听的FD最大不超过1024。
  • 每次select都需要把所有要监听的FD都拷贝到内核空间。
  • 每次都要遍历所有FD来判断就绪转态。

poll模式的问题:

  • poll利用链表解决了select中监听FD上限的问题,但依然要遍历所有的FD,如果监听过多,性能会下降。

epoll的优化:

  1. 基于epoll实例中的红黑树保存要监听的FD,理论上无上限,而且增删改查效率都非常高。
  2. 每个FD只需要执行一次epoll_ctl添加到红黑树,以后每次epol_wait无需传递任何参数,无需重复拷贝FD到内核空间。
  3. 利用ep_poll_callback机制来监听FD状态,无需遍历所有FD,因此性能不会随监听的FD数量增多而下降。

事件通知机制

当FD有数据可读时,调用epoll_wait就可以得到通知。但是事件通知的模式有两种:

  • LT(LevelTriggered):当FD有数据可读时,会重复通知多次,直至数据处理完成(是Epoll的默认模式)。
  • ET(EdgeTriggered):当FD有数据可读时,只会通知一次,不管数据是否处理完成。

两种模式的优缺点:

  • LT:事件通知频率较高,会有重复通知,影响性能。

  • ET:仅通知一次,效率高。可以基于非阻塞IO循环读取解决数据读取不完整问题。

select和poll仅支持LT模式,epoll可以自由选择LT和ET两种模式。


web服务流程

基于epoll模式的web服务基本流程图:

image-20230602192009380


信号驱动IO

信号驱动IO是与内核建立SIGIO的信号关联并设置回调,当内核有FD就绪时,会发出SIGIO信号通知用户,期间用户应用可以执行其它业务,无需阻塞等待。

image-20230602192817570

阶段一:

  1. 用户进程调用sigaction,注册信号处理函数。

  2. 内核返回成功,开始监听FD。

  3. 用户进程不阻塞等待,可以执行其它业务。

  4. 当内核数据就绪后,回调用户进程的SIGIO处理函数。

阶段二:

  1. 收到SIGIO回调信号。
  2. 调用recvfrom,读取。
  3. 内核将数据拷贝到用户空间。
  4. 用户进程处理数据。

SIGIO的不足:

当有大量IO操作时,信号较多,SIGIO处理函数不能及时处理可能导致信号队列溢出,而且内核空间与用户空间的频繁信号交互性能也较低。


异步IO

异步与同步

IO操作是同步还是异步,关键看数据在内核空间与用户空间的拷贝过程(即数据读写的IO操作),也就是阶段二是同步还是异步。

image-20230603145537819


异步IO的整个过程是非阻塞的(并不代表不阻塞就是异步),用户进程调用完异步API后就可以做其他事情,内核等待数据就绪并直接拷贝到用户空间后才会提交信号,通知用户进程。

image-20230603144457606

阶段一:

  1. 用户进程调用aio_read,创建信号回调函数。
  2. 内核等待数据就绪。
  3. 用户进程无需阻塞,可以做其他事情。

阶段二:

  1. 内核数据就绪。
  2. 内核数据拷贝到用户缓冲区。
  3. 拷贝完成之后,内核递交信息触发aio_read中的回调函数。
  4. 用户进程处理数据。

由此,可以得知,用户进程在两个阶段都是非阻塞状态的。


网络模型

问题一:Redis是单线程还是多线程?

  • 如果仅仅只是在Redis核心业务部分(即命令处理),则主要为单线层。

  • 如果是对于整个Redis,则为多线程。并且在Redis版本迭代中,在两个重要的时间节点上引入了多线程的支持。

    • Redis4.0:引入多线程异步处理一些耗时较久的任务,如异步删除命令–unlink。
    • Redis6.0:在核心网络模型中加入多线程,进一步提高了对于多线程CPU的利用率。

    因此,对于Redis的核心网络编程中,在Redis6.0之前确实都是单线程,是利用epoll(对于Linux系统)这样的IO多路复用技术在事件循环中不断处理客户端情况。

问题二:为什么Redis要选择单线程?

  1. 因为Redis是纯内存操作(抛开持久化),执行速度非常快,所以它的性能瓶颈是网络延迟而不是执行速度,因此多线程并不会带来巨大的性能提升。
  2. 多线程会导致过多的上下文切换,带来不必要的开销。
  3. 引入多线程会面临线程安全问题,必然要引入线程锁这样的安全手段,实现复杂度增高,而且性能也会大打折扣。

Redis通过IO多路复用提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装,提供了统一的高性能事件库API库AE。

image-20230604094849088

image-20230604094839181

以下为其执行的流程图:

image-20230604094614535

Redis单线程网络模型的整个流程:

image-20230604100206067

image-20230604100221477

流程图为:

image-20230604104145280

源码:

image-20230604103610222

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FFEC381L-1690339673619)(https://fingerbed.oss-cn-chengdu.aliyuncs.com/CSDN/202306041036973.png)]

为了提高IO读写效率,Redis6.0版本中引入了多线程。因此在解析客户端命令、写响应结果时采用了多线程。核心的命令执行、IO多路复用模块依然是由主线程执行。

image-20230604104539010

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/12285.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

F5 LTM 知识点和实验 4-持久化

第四章:持久化 持久化: 大多数应用都是有状态的,比如,使用一个购物网站,最重要的是用户在放入一个商品之后,刷新网页要能继续看到购物车里的东西,这就需要请求报文发到同一个后端服务器上,持久化就能完成这个功能。 持久化支持一下几种场景: 源地址目标地址SSLSIPH…

KNN模型进行分类和回归任务

KNN工作原理 “近朱者赤,近墨者黑”可以说是KNN的工作原理。整个计算过程分为三步:1:计算待分类物体与其他物体之间的距离;2:统计距离最近的K个邻居;3:对于K个最近的邻居,它们属于哪个分类最多,待分类物体就…

一些有趣的 js 功能函数

一些有趣的 js 功能函数 数组生成数组打乱数组数组简单数据去重数组唯一值数据去重多数组取交集查找最大值索引查找最小值索引找到最接近的数值压缩多个数组(拉链函数)矩阵交换行和列 数字转换进制转换 正则手机号格式化去除多余空格 web重新加载当前页面…

微信小程序之富文本那些事

文章目录 前言一、video的处理二、img的处理总结 前言 小程序中使用富文本编辑器,由于rich-text受限 部分富文本内容无法渲染或排版错乱。以img和video为例,处理起来让人头疼。网上各种长篇大论,实际上没有任何帮助。接下来我们就一起聊聊im…

聊聊STM32的基本定时器

STM32 的基本定时器(Basic Timer)是一种简单的定时器模块,用于生成基于时钟频率的定时中断。它可以用于实现各种定时和计时功能,例如延时、频率测量、PWM 生成等。 基本定时器通常由一个 16 位的自由运行计数器和一个预分频器组成…

Mac代码编辑器sublime text 4中文注册版下载

Sublime Text 4 for Mac简单实用功能强大,是程序员敲代码必备的代码编辑器,sublime text 4中文注册版支持多种编程语言,包括C、Java、Python、Ruby等,可以帮助程序员快速编写代码。Sublime Text的界面简洁、美观,支持多…

Bad owner or permissions on ~/.ssh/config

错误原因:设置本地所有文件的权限为741等。。。 在执行ssh免密码登录时报如下的错误:Bad owner or permissions on ~/.ssh/config。 解决方案: chmod 600 ~/.ssh/config

Linux-open、read、write函数

1、open函数 #include<stdio.h> #include<unistd.h> //close函数头文件#include<sys/types.h> //open函数头文件 #include<sys/stat.h> //open函数头文件 #include<fcntl.h> //flags参数头文件//返回值为对应文件的描述符&#xff0c;打开失败返…

Kendo UI,一个加速Web应用界面开发的JavaScript组件库!

Kendo UI是什么&#xff1f; 首先&#xff0c;Kendo UI是一个由四个JavaScript UI库组成的包&#xff0c;这些库是专为jQuery、Angular、React和Vue原生构建的&#xff0c;每一个都是用一致的API和主题构建的。所以无论开发者怎么选择&#xff0c;所开发的Web应用始终保持了现…

this关键字和同步异步宏认为微任务理解

目录 js面试常见问题&#xff1a;1.this指向 2.闭包定义和作用 3.原型链 4.异步协程 this关键字 this主要有以下几个使用场合。 1&#xff09;全局环境 &#xff08;2&#xff09;构造函数 &#xff08;3&#xff09;对象的方法 避免多层this 避免数组处理方法中的 this 避免回…

推荐几个Windows iso镜像下载的网站

文章目录 1. 微软官网2. MSDN网站3. 系统库(xitongku)4. 其他网站最后总结 给大家推荐几个 Windows iso镜像下载网站 1. 微软官网 入口地址&#xff1a;https://www.microsoft.com/zh-cn/software-download 以下载Windows11为例&#xff1a; 1&#xff09;找到下载Windows11…

undefined reference to `__android_log_print‘

报错描述 在 Android NDK 相关的工程构建中&#xff0c;出现报错&#xff1a; undefined reference to __android_log_print’ 翻译成 QM 能理解的话&#xff1a; 在链接阶段&#xff0c; 遇到一个需要被链接的符号 __android_log_print, 但是没有在给出的依赖库里面找到 __an…

【LeetCode】114.二叉树展开为链表

题目 给你二叉树的根结点 root &#xff0c;请你将它展开为一个单链表&#xff1a; 展开后的单链表应该同样使用 TreeNode &#xff0c;其中 right 子指针指向链表中下一个结点&#xff0c;而左子指针始终为 null 。展开后的单链表应该与二叉树 先序遍历 顺序相同。 示例 1&…

day43-Spring_IOC

0目录 1.2.3 1. Spring_IOC 1.1 定义&#xff1a;轻量级框架&#xff0c;java EE的春天&#xff0c;主流框架 1.2 Spring特性&#xff1a;IOC控制反转&#xff1b;AOP面相切面 1.3 组成部分&#xff1a;Spring在SSM中所起到的作用&#xff08;SpringMVC和Mybatis框架的黏…

MySQL中GROUP_CONCAT()的介绍和用法

摘要&#xff1a;本文详细介绍MySQL数据库中GROUP_CONCAT()函数的概念和用法。通过示例和输出结果展示如何使用GROUP_CONCAT()函数将分组后的数据以字符串形式拼接起来&#xff0c;帮助读者更好地理解和应用这一功能。 1. 什么是GROUP_CONCAT() GROUP_CONCAT()是MySQL数据库提…

C程序设计:基于双向链表的flash磨损平衡算法

1.flash磨损平衡算法的重要性 Flash磨损平衡算法是一种用于管理和均衡闪存存储器中数据分布的算法。由于闪存存储器的特性&#xff0c;比如有限的擦写次数和块擦除的要求&#xff0c;长时间不进行数据的平衡处理可能会导致某些块的擦写次数明显超过其他块&#xff0c;造成闪存…

vue2企业级项目(五)

vue2企业级项目&#xff08;五&#xff09; 页面适配、主题切换 1、适配 项目下载插件 npm install --save-dev style-resources-loader vue-cli-plugin-style-resources-loader修改vue.config.js部分内容 const path require("path");module.exports {pluginOpt…

flutter 打包iOS安装包

flutter iOS Xcode打包并导出ipa文件安装包 1、 Xcode配置 1、 启动打包 1、 等待打包 1、 打包完成、准备导出ipa 1、 选择模式 1、 选择配置文件 1、 导出 1、 选择导出位置 1、 得到ipa

于大模型迁移中学习 Docker

最近在做大模型的昇腾迁移&#xff0c;国产化框架踩坑不少&#xff0c;基本一天的工作量相当于之前做纯视觉算法时一周踩过的坑数了。 现在在modelarts上用八卡昇腾910跑llama&#xff0c;不同于之前自己配环境&#xff0c;昇腾生态创新中心都是用的镜像&#xff0c;虽说打包起…

区分jdbcTemplate操作数据库和mybatis操作数据库

JdbcTemplate和MyBatis是Java中常用的两种数据库操作方式。它们在实现上有一些区别&#xff0c;下面我将为你介绍它们的主要特点和区别&#xff1a; JdbcTemplate&#xff1a; JdbcTemplate是Spring框架中提供的一个类&#xff0c;用于简化JDBC操作。使用JdbcTemplate时&#x…