【Redis】高级篇: 一篇文章讲清楚Redis的单线程和多线程

目录

面试题

Redis到底是多线程还是单线程?

简单回答

详解

Redis的“单线程”

Redis为什么选择单线程?

后来Redis为什么又逐渐加入了多线程特性?

Redis为什么快?

回答

IO多路复用

Unix网络编程的5种IO模型

主线程和IO线程怎么协作完成请求处理的

四个阶段

浅谈IO多路复用

文件描述符(FileDescriptor, FD)

什么是IO多路复用

场景模拟

总结

Redis 7 默认设置是否开启了多线程?

总结


这篇我们从几个面试题入手

面试题

Redis到底是多线程还是单线程?

简单回答

Redis 是从4开始慢慢支持多线程的,直到 Redis6/7 后才稳定

详解

这种问法其实并不严谨,单线程还是多线程需要视版本而定。

Redis的版本很多3.X、4.X、6.X,版本不同架构也是不同的,不限定版本问是否单线程也不太严谨。

版本3.×(最早版本),也就是大家口口相传的Redis是单线程;

版本4.×,严格意义来说也不是单线程,而是负责处理客户端请求的线程单线程,但是开始加了点多线程的东西(异步删除);

版本6.x 开始,全面支持多线程。

Redis的“单线程”

Redis的“单线程”主要是指Redis的网络IO键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取(socket读)、解析、执行、内容返回(socket写)等都由一个顺序串行的主线程处理(第一篇介绍过的那些原子的命令),这也是Redis对外提供键值存储服务的主要流程。

Redis采用Reactor模式的网络模型,对于一个客户端请求,主线程负责一个完整的处理过程,如下图:

补充:

Reactor 模式是一种并发模型,在这种模型中,主线程(Reactor)避免了由于等待一或多个并发事件(比如 I/O 操作)的完成而无法继续工作的阻塞。通过使用非阻塞 I/O 操作和事件通知,主线程在并发操作完成时得到通知。

一般来说,Reactor 模式的工作流程如下:

  1. 应用程序将需要监听的 I/O 事件(比如 socket 的可读、可写事件)注册到 Reactor 中,并且关联对应的处理事件。
  2. Reactor 不断地轮询这些事件,当某个事件到达的时候(比如 socket 中有数据可读),Reactor 将这个事件对应的处理事件唤醒,交由一个工作线程(或者称之为 EventHandler)去处理。
  3. 工作线程处理完相应的事件后,通知 Reactor 继续监听这个事件。

这种模型非常适合于大并发,少逻辑的网络程序中,比如 Nginx 中就用到了这种设计模式。通过这种方式,一个线程可以处理很多连接的事件,而不需要为每个连接都创建一个线程,这样就可以避免线程切换的开销,并且可以更有效地使用系统资源。

但Redis的其他功能,比如持久化RDB、AOF、异步删除、集群同步数据等都是由额外的线程执行的,因此整个Redis可以看作是多线程的。

Redis为什么选择单线程?

准确的说,应该是Redis 4.0之前一直采用单线程

主要原因有:

  • 使用单线程模型使Redis的开发和维护更简单
  • 虽然使用的是单线程,但也可以并发处理多客户端的请求(IO多路复用和非阻塞IO)
  • 对于Redis系统来说,主要的性能瓶颈是内存/网络带宽,而非CPU
后来Redis为什么又逐渐加入了多线程特性?
  • 硬件的发展
    • CPU并不是Redis的瓶颈,通常Redis要不受内存限制要不受网络限制,但是随着计算机硬件的发展,多核CPU已经成为常态,为了更大限度的利用CPU
  • 单线程的缺点
    • Redis使用单线程也是有一定缺点的,比较典型的就是使用del指令删除大key数据时(比如包含了成千上万个元素的hash集合,关于大key的问题我们会在Redis系列的下一篇专门介绍,这里先简单举个例子),del指令就会造成主线程卡顿。
    • 由于Redis3.x完全是单线程的,del指令删除时会等待⌛️很久才释放,如果再加上高并发场景(˶‾᷄ ⁻̫ ‾᷅˵)额。。这就是Redis3.x单线程时代最经典的故障,大key删除的头疼问题,于是Redis4.0就新增了多线程模块,也主要是为了解决这个问题。
    • 此外例如flushdb还有flushall在数据量达到一定程度时,也会造成卡顿,因此一开始Redis就是把某些时间复杂度高,占主线程CPU时间片较高,造成主线程卡顿的操作使用多线程来处理(bio子线程),以减少主线程阻塞时间,从而减少那个诸如del操作导致性能和稳定性的问题。

总的来说,就是与时俱进( ̄∇ ̄)/🎉~~~

Redis为什么快?

回答

Redis 3.0 单线程时代依旧很快的原因:

  • 基于内存操作:Rdis的所有数据都存在内存中,因此所有的运算都是内存级别的,所以他的性能比较高
  • 数据结构简单:Rdis的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是O(1),因此性能比较高
  • 多路复用和非阻塞I/O:Redis使用多路复用功能来监听多个socket连接客户端,这样就可以使用一个线程连接来处理多个请求,减少线程切换带来的
  • 避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,这就省去了多线程切换带来的时间和性能上的消耗,而且单线程

现在Redis快的原因

在上面原因的基础上

  • IO多路复用 + epoll函数使用

接下来我们详细介绍下IO多路复用

IO多路复用

IO多路复用(IO multiplexing)是Unix网络编程的5种IO模型之一。

Unix网络编程的5种IO模型

  • Blocking IO 阻塞IO
  • NoneBlocking IO 非阻塞IO
  • IO multiplexing IO 多路复用
  • signal driven IO 信号驱动IO
  • asynchronous IO 异步IO

Redis一直被大家熟知的就是它的单线程架构,虽然从Redis4.0开始使用了多线程,也是为了处理数据删除、快照删除等耗时操作,从网络IO处理到实际的读写命令处理都是由主线程独自处理的(心疼下主线程)。

在Redis 6/7中,Redis全面支持了多线程。这是由于随着硬件性能的提升,Redis的性能瓶颈主要出现在网络IO上,就是完全靠单个主线程处理网络请求的速度跟不上底层网络硬件的速度,于是采用多个线程处理网络IO,提高网络请求处理的并行度。

但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命令 Redis 仍然使用单线程来处理。这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥加锁机制了(不管加锁操作处理),这样一来,Redis 线程模型实现就简单了。

主线程和IO线程怎么协作完成请求处理的

四个阶段

  • 阶段一:服务端和客户端建立Socket连接,并分配处理线程 首先,主线程负责接收建立连接请求,当有客户端请求和实例建立Socket连接时,主线程会创建和客户端的连接并把Socket放入全局等待队列中,紧接着,主线程通过轮询方法把Socket连接分配给IO线程
  • 阶设二:IO线程读取并解折请求 主线程一旦把Socket分配给IO线程,就会进入阻塞状态,等待IO线程完成客户端请求的读取和解析,因为有多个IO线程在并行处理,所以,这个过程很快就可以完成。
  • 阶段三:主线程执行请求操作 等到IO线程解析完请求,主线程还是会以单线程的方式执行这些命令操作。
  • 阶设四:IO线程回写Socket和主线程清空全局队列 当主线程执行完请求操作后,会把需要返回的结果写入缓冲区,然后,主线程会阻塞等待IO线程,把这些结果回写到Socket中,并返回给客户端。和IO线程读取和解析请求一样,IO线程回写Socket时,也是有多个线程在并发执行,所以回写Socket的速度也很快。等到IO线程回写Socket完毕,主线程会清空全局队列,等待客户端的后续请求。

浅谈IO多路复用

由于IO多路复用(IO multiplexing)是Unix网络编程的5种IO模型之一,我们先介绍下Linux的相关内容,便于理解(熟悉的人可以直接跳到下一趴)。

在Linux中,一切皆文件,这就要提到“文件描述符”这个概念了。

文件描述符(FileDescriptor, FD)

文件描述符是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。

文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向该进程返回一个文件描述符。

在程序设计中,文件描述符这一概念往往只适用于UNIX或者Linux这样的操作系统。

什么是IO多路复用

一种同步的IO模型,实现一个线程监视多个文件句柄,一旦某个文件句柄就绪,就能通知到对应程序进行相应的读写操作,没有文件句柄就绪时,就会阻塞应用程序,从而释放CPU资源。

我们来介绍几个概念:

  • I/O
    • 网络I/O,尤其在操作系统层面指数据在内核态和用户态之间的读写操作
  • 多路
    • 多个客户端连接(连接就是套接字描述符,即socket或者channel)
  • 复用
    • 复用一个或者几个线程连接
  • IO多路复用
    • 也就是说一个或者一组线程处理多个TCP,使用单进程就能实现同时处理多个客户端的连接,无需创建或者维护过多的进程/线程

总结

  • 一个服务端进程可以同时处理多个套接字描述符
  • 实现多路复用的模型有3种:可以分select->poll->epoll3个阶段来描述

场景模拟

不知道大家有没有注意过麻辣烫店是怎么做煮麻辣烫的,他们可不是一碗一碗单独的锅单独的灶煮的(太费💰),一般是有一个方形大锅,整个锅里加满水,下面一个灶加热,大锅里分成一个个小格子(就类似重庆火锅那种九宫格),每个小格子里煮一个客人选的菜。

基本流程就是,客人选完菜去收银那里称斤付款(人多则需要排队),服务员每收到一个客人选的菜,就把它们倒进一个小格子里煮,然后再回来收下一位的……还会时不时看看哪个小格子里的菜熟了,就把它盛到碗里,端回给客人

我们根据模拟情景来简单概括下IO多路复用模型:

将用户Socket对应的文件描述符(FileDescriptor)注册进epoll,然后epoll帮你监听哪些Socket上有消息到达,这样就避免了大量的无用操作,此时的Socket应该采用非阻塞模式,这样整个过程只在调用select、poll、epoll这些函数是才会阻塞,收发客户消息是不会阻塞的,整个进程/线程就会被充分利用起来,这就是事件驱动,所谓的reactor反应模式。

在单个线程通过记录跟踪每一个Socket(I/O流)的状态来同时管理多个I/O流,一个服务端进程可以同时处理多个套接字描述符,以此来提高服务器的吞吐能力

大家都用过nginx,nginx使用epoll接收请求,ngnix会有很多链接进来,epoll会把他们都监视起来,然后像拨开关一样,谁有数据就拨向谁,然后调用相应的代码处理。Redis类似同理,这就是IO多路复用原理,有请求就响应,没请求不打扰。

IO多路复用达到的效果就是只使用一个服务端进程可以同时处理多个套接字描述符连接。

客户端请求服务端时,实际就是在服务端的Socket文件中写入客户端对应的文件描述符(FileDescriptor),如果有多个客户端同时请求服务端,为每次请求分配一个线程,类似每次来就new一个太耗费服务端资源,因此,只使用一个线程来监听多个文件描述符,即IO多路复用。

采用IO多路复用技术可以让单个线程高效的处理多个连接请求,一个服务端进程可以同时处理多个套接字描述符。

从Rdis6开始,就新增了多线程的功能来提高I/O的读写性能,他的主要实现思路是将主线程的IO读写任务拆分给一组独立的线程去执行,这样就可以使多个Socket的读写可以并行化了,采用多路I/O复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),将最耗时的Socket的读取、请求解析、写入单独外包出去,剩下的命令执行仍然由主线程串行执行并和内存的数据交互。

于是,网络IO操作就变成多线程了,其他核心操作仍然是主线程单独处理(线程安全)

总结

  • Redis的工作线程是单线程的,但是整个Redis是多线程的
  • Redis6/7将网络数据读写、请求协议解析通过多个IO线程来处理,真正执行命令的线程仍然是主线程单独进行操作(单线程),一举两得,既解决网络IO问题(多个IO线程),有保证了线程安全且处理方式简单(单线程执行命令)

Redis 7 默认设置是否开启了多线程?

如果你在实际应用中,发现Redis实例的CPU开销不大但吞吐量却没有提升,可以考虑使用Reds7的多线程机制(默认关闭,需手动开启),加速网络处理,进而提升实例的吞吐量。

Redis7将所有的数据放在内存中,内存的响应时长大约为100纳秒,对于小数据,Redis服务器可以处理8W到10W的QPS(实验室数据,极限),但是对于大部分的公司已经够用了,所以在Redis6.0以后,多线程机制默认是关闭的,如果需要使用,则要在redis.conf配置文件中修改,主要改两个地方:

  1. 设置io-threads-do-redis配置项为yes,表示启动多线程
  2. 设置线程个数,io-threads 个数,关于个数的设置,官方的建议是如果为4核的CPU,建议线程数设置为2或3,如果为8核CPU建议线程数设置为6(线程数一定要小于机器核数,并非越大越好)

总结

Redis基于内存操作数据结构简单多路复用非阻塞I/O等特性,避免了不必要的上下文切换,在单线程的环境下依旧很快。但对于大数据的key删除还是会卡顿,因此在4.0版本中引入了多线程unlink key/flushall async等命令,主要用于Redis数据的异步删除。而在Redis6/7中引入了I/O多线程的读写,增加了吞吐量,而命令的执行依旧是有主线程串行执行的,因此在多线程下操作Redis既能保持良好的性能响应速度,并且不会出现线程安全的问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/9922.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【100天精通python】Day9:数据结构_字典、集合

目录 目录 1 字典 1.1 字典的基本操作示例 1.2 字典推导式 2 集合 2.1 集合的常用操作示例 3 列表、元组、字典、集合的区别 1 字典 在Python中,字典(Dictionary)是一种无序的数据结构,用于存储键值对的集合。每个…

华为openGauss数据库入门 - gsql用法

目录 1.1 gsql的语法 1.2 gsql常用选项 1.2.1 最常用的必要选项 1.2.2 -r选项 1.2.3 -E选项 1.2.4 -t选项 1.2.5 -A选项 1.2.6 -v选项 1.2.7 -c选项 1.2.8 -f选项 1.2.9 -q选项 1.3 gsql的元命令 1.3.1 \l命令 1.3.2 \du命令和\dg命令 1.3.3 \db命令 1.3.4 \d…

微服务——Nacos配置管理

目录 Nacos配置管理——实现配置管理 配置管理实践 Nacos配置管理——微服务配置拉取 Nacos配置管理——配置热更新 方式一: ​编辑 方式二(推荐方式): Nacos配置管理——多环境配置共享 优先级问题 Nacos配置管理——nacos集群搭建 总结​编辑 Nacos配置管理——实现配置管…

物联网的通信协议

物联网的通信协议 目录 物联网的通信协议一、UART串口通信1.1 串口通信1.2 异步收发1.3 波特率1.4 串口通信协议的数据帧1.5 优缺点1.5.1 优点1.5.2 缺点 二、I^2^C2.1 I^2^C2.2 I^2^C2.3 数据有效性2.4 起始条件S和停止条件P2.5 数据格式2.6 协议数据单元PDU2.7 优缺点2.7.1 优…

(五)RabbitMQ-进阶 死信队列、延迟队列、防丢失机制

Lison <dreamlison163.com>, v1.0.0, 2023.06.23 RabbitMQ-进阶 死信队列、延迟队列、防丢失机制 文章目录 RabbitMQ-进阶 死信队列、延迟队列、防丢失机制死信队列延迟队列延迟队列介绍**延迟队列_死信队列_的实现**延迟队列_插件实现下载插件RabbitMQ 配置类RabbitMQ …

实现PC端微信扫码native支付功能

目录 实现PC端微信扫码 简介 实现步骤 1. 获取商户号 2. 生成支付二维码 3. 监听支付结果 4. 发起支付请求 5. 处理支付回调 示例代码 结论 Native支付 Native支付的工作原理 Native支付的优势 Native支付的应用和市场地位 开通使用微信 native 支付流程 步骤一…

Oracle输出文本平面(CSV、XML)文本数据详细过程

此过程是提供给前端,调用的接口,为报表提供”下载“功能。以下是本人在测试环境的测试,有什么不足的地方,请留言指教,谢谢。 1、测试表 分别对测试表输出csv、xml两种格式文件数据。前期的准备工作。 --在服务器端创建directory,用管理员用户 create or replace directo…

ftp传文件越来越慢的原因,以及解决方案

FTP 是一种常用的文件传输协议&#xff0c;它基于客户端-服务端模型工作&#xff0c;允许用户通过网络传输文件。但是&#xff0c;有时候在使用 FTP 的过程中&#xff0c;文件传输速度会逐渐变慢&#xff0c;这给用户带来了很多困扰。本文将分析 FTP 传文件变慢的原因&#xff…

QT DAY2

1.思维导图 2.继续完善登录框&#xff0c;当登录成功时&#xff0c;关闭登录界面&#xff0c;跳转到新的界面中 Second.h #ifndef SECOND_H #define SECOND_H#include <QWidget> #include <QtCore/QDebug> #include <QIcon> #include <QPushButton> …

当ChatGPT应用在汽车行业,具体有哪些场景?

​ ChatGPT有潜力彻底改变汽车行业并将其提升到新的高度。在ChatGPT的加持下&#xff0c;该行业的多个领域都将取得重大变化。 利用ChatGPT作更高级的虚拟助理 你可能用过现有的虚拟助理&#xff0c;它们一系列的回复有时候让人不得不感叹一句“人工智障”&#xff01;然而&a…

2023-07-26 LeetCode每日一题(更新数组后处理求和查询)

2023-07-26每日一题 一、题目编号 2569. 更新数组后处理求和查询二、题目链接 点击跳转到题目位置 三、题目描述 给你两个下标从 0 开始的数组 nums1 和 nums2 &#xff0c;和一个二维数组 queries 表示一些操作。总共有 3 种类型的操作&#xff1a; 操作类型 1 为 querie…

跨境电商多语言带直播功能功能列表

一、直播导购 1.直播入驻管理&#xff1a;直播入驻实际上就是商家入驻&#xff0c;开通商家后会获得直播权限 2.直播观看/拉流页面(分三屏&#xff0c;可以左右滑动&#xff09;&#xff1a; 左屏&#xff1a; 直播间信息&#xff1a;直播间名称、直播封面、房间号、在线人数、…

【C语言项目】扫雷(详解,附图、附代码示范)

文章目录 项目思路一、分文件进行创建二、进入游戏前的目录2.1 目录的功能&#xff1a;2.2 目录界面&#xff1a;2.3 选择进入或退出游戏2.3.1 代码示范2.3.2 图片示例&#xff1a; 三、画出游戏界面3.1 创建两个数组3.2 初始化数组3.3 打印游戏界面3.3.1 代码思路3.3.2 代码示…

gin框架内容(二)

上一篇过于gin的内容 https://mp.csdn.net/mp_blog/creation/editor/131953861 CSDNhttps://mp.csdn.net/mp_blog/creation/editor/131953861 一、路由组 为了管理具有相同前缀的URL, 将拥有URL共同前缀的路由划分为一组 为了代码的阅读性&#xff0c;使用{}包裹相同组的路由…

WPF icon的设置

想给控件设置个圆形图片&#xff0c;代码如下&#xff1a; ​<Setter Property"Icon"><Setter.Value><Image Source"/WpfApp1;component/Resource/1.ico" Width"16" Height"16"/></Setter.Value></Setter&…

ncnn-android-yolov7跑自己模型的注意事项

ncnn-android-yolov7 这是一个示例 ncnn android 项目&#xff0c;它依赖于 ncnn 库和 opencv https://github.com/Tencent/ncnn https://github.com/nihui/opencv-mobile https://github.com/xiang-wuu/ncnn-android-yolov7 如何构建和运行 步骤1 https://github.com/Ten…

linux 在excel里面找内容

linux 在excel里面找内容 背景&#xff1a;在大数据行业中&#xff0c;很多数据源是excel文件&#xff0c;但是常常会出现查找excel内容找到对应的文件&#xff0c;所以制作了简单的shell脚本方便查询对应的excel文件 查看下面精简的内容即可&#xff0c;开箱即用 shell转换 …

vue项目实现数组中添加多个相同的对象

在写项目的时候&#xff0c;有时候想有一个有较大length的对象数组&#xff0c;则可以使用如下的方法&#xff1a; export default {data() {const item {date: 2016-05-02,name: 王小虎,address: 上海市普陀区金沙江路 1518 弄};return {tableData: Array(20).fill(item)}} …

将Parasoft和ChatGPT相结合会如何?

ChatGPT是2023年最热门的话题之一&#xff0c;是OpenAI训练的语言模型。它能够理解和生成自然语言文本&#xff0c;并接受过大量数据的训练&#xff0c;包括用各种编程语言编写的许多开源项目的源代码。 软件开发人员可以利用大量的知识库来协助他们的工作&#xff0c;因为它具…

「预告」飞凌嵌入式邀您相约第13届配电技术应用论坛

2023年8月3日~5日&#xff0c;第十三届配电技术应用论坛即将在浙江杭州举行&#xff0c;飞凌嵌入式受邀参加。 作为助力快速实现“双碳”目标和新型电力系统建设&#xff0c;加强“双碳”目标下的智能配电网技术研发布局的主要会议&#xff0c;第十三届配电技术应用论坛将从政…