Redis线程模型及性能优化概述

redis线程模型:

网络模块+命令处理
redis的性能
一个取决于物理内存,另一个是对于socket请求的处理速度。

4.0以前

单线程模式

请求流程:对于一个请求,线程会根据操作产生相应的事件(读,写事件),此时我们的程序对事件进行监听,监听到程序,交给文件事件分派器选择不同的处理器去处理,最后返回给socket
redis单线程处理流程

单线程能保证高性能

  • 内存存储:Redis使用内存作为数据存储介质,避免了磁盘I/O操作的瓶颈,这使得数据访问速度非常快。
  • 单线程模型:Redis通过单线程模型简化了内部逻辑,避免了多线程中频繁的上下文切换开销。
  • 事件驱动机制:由“事件”驱动运行的,事件状态对象、事件源、事件监听器。

产生问题:

  • 在当时redis单线程模型的处理速度很快,完全可以应对上亿的请求,但是redis在处理del bigkey时出现处理时间过长问题,这导致出现redis出现阻塞情况,性能变差,所以在4.0版本redis进行了部分改动。

4.0版本(伪多线程模式)

主线程(1个)+后台线程(3个)

解决策略:

后台线程(3)个:
close_file:关闭AOF,RDB过程中产生的大文件
aof_fsync:将追加至AOF的文件数据刷盘
lazy_free:惰性释放大对象(bigkey)
此时redis的思想是将专门的事交给专业的线程去做,对于耗时较长的操作都分别开启了对应的线程去进行处理。

惰性删除(lazy_free):只有当我们访问到该key时发现过期,才会对他进行删除
AOF:redis持久化存储,将所有的写操作存储到AOF文件当中,可以在关闭服务器之后还原之前的状态
RDB:对任意时刻的redis中所有的数据生成快照保存的硬盘中,可手动和自动,适合灾难性恢复。

6.0版本

在4.0版本处理了命令操作的问题,但是网络传输的发展,业务的扩展,请求数不断增长,但是对于redis来说,处理socket请求的线程只有一个(aeMain),想要提升处理速度,就需要开启多线程模式了。
多线程+后台线程
开启语句:io-thread-do-read yes

实现:采用epoll 机制实现 IO 多路复用

当客户端有数据发送至服务端时,Select 会监听到可读事件,数据读取完毕后提交到业务线程池中并发处理。
一般的请求中,耗时最长的一般是业务处理,所以用一个线程池(worker 线程池)来处理业务操作,在性能上的提升也是非常可观的。

在Reactor多线程模型中,业务逻辑通常指的是接受和处理客户端请求之后的操作,比如数据的查询、加工以及持久化等。

接收到socket请求后,我们采用eaMain()主线程对已经就绪的事件进行轮询,对于这一步,采用的是epoll机制,记录 「要监听的文件描述符」「已经就绪的文件描述符」,「已就绪的文件描述符」是由内核主动添加至就绪文件描述符集合中,我们从用户态调用 epoll_wait 就直接查询该集合是否有就绪 I/O 事件,这样下来,就减少了全遍历所有文件描述符的操作。

网络I/O多线程处理:Redis 6.0版本中,网络数据的读写这类耗时操作采用多线程执行,这样可以充分利用服务器的多核CPU资源。
命令执行仍为单线程:尽管网络I/O是多线程处理的,但Redis中执行用户命令的核心环节仍然是单线程的,这样避免了多线程环境下可能出现的数据竞态问题。

一位大佬的整个socket请求执行流程
对于已经就绪的事件,通过io多路复用程序将任务分发给不同的事件处理器进行处理,如果是读写请求,就将读写的响应通过 socket 响应给客户端。

总结:6.0版本,redis采用的是多线程+后台线程的方式,对于socket请求,我们采用eaMain主线程轮询socket操作产生的事件,事件产生被io多路复用处理后交给分别交给不同线程进行后续操作,比如查询等,除此之外还开启线程对处理速度较慢的事件单独开启后台线程。

使用:
  • 通常情况下,redis多线程是关闭的,4核以上推荐开启
  • 4核——2,3线程
  • 8核——6线程
  • 线程数不是越多越好,通常建议线程数小于核数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/5041.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Springboot的水产养殖系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的水产养殖系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构&…

【MyBatis】进阶使用 (动态SQL)

动态SQL \<if>\<trim>\<where>\<set>\<foreach>\<include> 在填写表单时&#xff0c;有些数据是非必填字段&#xff08;例如性别&#xff0c;年龄等字段&#xff09;&#xff0c;那就需要在接收到参数时判断&#xff0c;根据参数具体的情况…

【知识学习/复习】损失函数篇,包含理解应用与分类:回归、分类、排序、生成等任务

损失函数总结 一、损失函数理解二、不同任务的损失函数的应用1.图像分类2.目标检测3.语义分割4.自然语言处理&#xff08;NLP&#xff09;5.图神经网络&#xff08;GNN&#xff09;6.生成式网络 三、损失函数1. 回归任务损失函数常见损失函数IoU系列损失函数1. IoU损失函数&…

TiDB 利用binlog 恢复-反解析binlog

我们知道TiDB的binlog记录了所有已经执行成功的dml语句&#xff0c;类似mysql binlog row模式 &#xff0c;TiDB官方也提供了reparo可以进行解析binlog&#xff0c;如下所示: [2024/04/26 20:58:02.136 08:00] [INFO] [config.go:153] ["Parsed start TSO"] [ts449…

聊天窗口关键词回复、定时发送、获取手机号发送到服务器

代码逻辑介绍&#xff1a; isUserTyping记录用户是否输入消息&#xff0c;用setInterval定时50秒检测并改变用户状态为false&#xff0c;发送消息、或者自动打印一轮完毕后&#xff0c;置为true。 sendMessage是处理发送消息的函数&#xff1b; appendMessage是将消息追加到…

[C++][数据结构]二叉搜索树:介绍和实现

二叉搜索树 概念 二叉搜索树又称二叉排序树&#xff0c;它是一棵空树&#xff0c;或者是具有以下性质的二叉树: 若它的左子树不为空&#xff0c;则左子树上所有节点的值都小于根节点的值若它的右子树不为空&#xff0c;则右子树上所有节点的值都大于根节点的值它的左右子树也…

IoT Scenario: Smart Retail System-Multiple Sources and Multiple Terminals

物联网/大数据可视化领域发文可以联系&#xff1a;nascimsina.com IoT Scenario: Smart Retail System Overview The use of IoT in the retail industry enhances customer experiences, optimizes inventory management, and provides valuable insights into consumer beh…

Vue+ElementUI实现文件照片音频视频预览

1. 需求是点击预览按钮 根据文件名的后缀去实现预览 2. 具体实现代码及逻辑 1.预览弹框 <el-dialog:visible.sync"visibleFile"width"40%":close-on-click-modal"false"close"cancelHandler":append-to-body"true">…

【架构】后端项目如何分层及分层领域模型简化

文章目录 一. 如何分层1. 阿里规范2. 具体案例分析 二. 分层领域模型的转换1. 阿里规范2. 模型种类简化分析 三. 小结 本文描述后端项目中如何进行分层&#xff0c;以及分层领域模型简化 一. 如何分层 1. 阿里规范 阿里的编码规范中约束分层逻辑如下: 开放接口层&#xff1a…

pinia持久化

安装 pinia-plugin-persistedstate npm i pinia-plugin-persistedstate main.ts import App from ./App.vue import { createPersistedState } from pinia-plugin-persistedstate import { createPinia } from piniaconst pinia createPinia() pinia.use(createPersistedSt…

Java全栈开发前端+后端(全栈工程师进阶之路)-环境搭建

在课程开始前我们要配置好我们的开发环境&#xff0c;这里我的电脑太乱了&#xff0c;我使用vm虚拟机进行搭建开发环境&#xff0c;如果有需要环境的或者安装包&#xff0c;可以私信我。 那我们开始 首先我们安装数据库 这里我们使用小皮面板 小皮面板(phpstudy) - 让天下没…

【计算机毕业设计】基于SSM++jsp的社区管理与服务系统【源码+lw+部署文档+讲解】

目录 摘 要 Abstract 第一章 绪论 第二章 系统关键技术 第三章 系统分析 3.1.1技术可行性 3.1.2经济可行性 3.1.3运行可行性 3.1.4法律可行性 3.4.1注册流程 3.4.2登录流程 3.4.3活动报名流程 第四章 系统设计 4.3.1登录模块顺序图 4.3.2添加信息模块顺序图 4.4.1 数据库E-…

【Node.js工程师养成计划】之express框架

一、Express 官网&#xff1a;http://www.expressjs.com.cn express 是一个基于内置核心 http 模块的&#xff0c;一个第三方的包&#xff0c;专注于 web 服务器的构建。 Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用&…

使用LocalGPT+cpolar打造可远程访问的本地私有类chatgpt服务

文章目录 前言环境准备1. localGPT部署2. 启动和使用3. 安装cpolar 内网穿透4. 创建公网地址5. 公网地址访问6. 固定公网地址 前言 本文主要介绍如何本地部署LocalGPT并实现远程访问&#xff0c;由于localGPT只能通过本地局域网IP地址端口号的形式访问&#xff0c;实现远程访问…

iOS 实现视图遮罩效果

有时候&#xff0c;我们会遇到这种需求&#xff0c;只讲视图的某个部分展示出来 这时候&#xff0c;我们可以通过设置该视图layer.mask layerb来实现&#xff0c;需要注意的是&#xff0c;这里的layerb必须要设置backgroundColor&#xff0c;渐变layer有colors,否则达不到效果…

Java学习3:程序流程控制

Java程序流程控制 1.执行顺序 顺序结构分支顺序 if,switch 循环结构 for ,while ,do-while 2.if分支 三种形式 if(条件表达式){} else if(){} else{}3.switch分支 string week "周一"; switch(week){case "周一":stem.out.println("周一&qu…

UG NX二次开发(C++)-获取模型中所有的拉伸(Extrude)特征

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 1、前言2、在UG 12中创建几个拉伸特征3、UFun中获取对象类型4、通过NXOpen过渡5.测试结果1、前言 在采用UG NX二次开发时,有时需要在模型中获取特定的对象,比如拉伸特征、关联特征等等。但是通过…

vue2 实现echarts图表进入可视区域后再加载动画,以及 使用了resize之后,动画失效问题解决

Intersection Observer API 是一个现代的浏览器 API&#xff0c;用于监测一个或多个目标元素与其祖先元素或视窗&#xff08;viewport&#xff09;之间的交叉状态&#xff08;intersection&#xff09;的变化。它可以有效地监听元素是否进入或离开可视区域&#xff0c;从而实现…

【氮化镓】AlGaN/GaN HEMTs沟道温度测量

文章是关于AlGaN/GaN HEMTs&#xff08;高电子迁移率晶体管&#xff09;在不同基底&#xff08;如蓝宝石和硅&#xff09;上生长时&#xff0c;通过直流&#xff08;DC&#xff09;特性方法确定沟道温度的研究。文章由J. Kuzmk, P. Javorka, A. Alam, M. Marso, M. Heuken, 和 …

UWB人员实时定位系统,Spring boot +Vue框架开发的UWB源码

UWB定位技术最核心的优势就是定位精度&#xff0c;可达厘米级&#xff0c;是其它定位技术的成百上千倍&#xff0c;在此精度下&#xff0c;可以满足绝大多数行业精细化管理的需求。 有了精准的位置数据&#xff0c;就可以把人员和物资的轨迹进行数据化还原&#xff0c;通过人工…