Go语言 几种常见的IO模型用法 和 netpoll与原生GoNet对比

【go基础】16.I/O模型与网络轮询器netpoller_go中的多路io复用模型-CSDN博客

字节开源的netPoll多路复用器源码解析-CSDN博客

一、几种常见的IO模型

1. 阻塞I/O

(1) 解释:

    用户调用如accept、read等系统调用,向内核发起I/O请求后,应用程序会从用户态陷入内核态。

    内核会检查文件描述符fd是否就绪,如果没有数据准备就绪,内核就会挂起(阻塞)当前的线程

    当fd中数据就绪后,操作系统内核会将数据从内核空间拷贝到进程空间,并交回控制权。

(2) 缺点:

    一个goroutine同一时刻只能处理一个流,无法解决多个IO请求问题

2. 非阻塞I/O

(1) 解释:

    执行read和write 等I/O操作会立刻返回,然后应用程序不停轮询。读取时如果没有数据,会返回

EAGAIN或EWOULDBLOCK错误码。

(2) 缺点:

    占用cpu资源,不停做无用的轮询操作

3.  I/O多路复用模型

(1) 解释:

    一个进程/线程处理多个I/O,内核同时监视多个文件描述符,一旦某个描述符就绪,通知程序进行相应的读写操作;如果没有文件句柄就绪,就阻塞应用程序,交出CPU。

(2) 缺点:无,基本符合需求。

4. 三种IO模型对比

目前epoll是linux大规模并发网络应用程序的首选。

大部分高性能的网络服务器使用的I/O复用模型均是epoll,比如nginx、redis、memcached等。

二、几种常见的IO模型 使用方法 

     以下模型的 IO 操作都是 使用阻塞的机制。

1、多线程

(1) 解释:

    每accept到一个客户端后,都启动一个新的线程。存在多个线程。

(2) 优点: 简单。

(3) 缺点:

a. 占用内存资源,每个线程需要2M的栈空间;需要的线程很多,且频繁切换。

b. 长连接需要保持连接状态(心跳/健康检查),进一步占用资源。

2、单线程 + 多路IO复用

(1) 解释:

    一个线程 ,处理多个客户端。采用多路I/O复用机制(epoll) 监控多个fd的IO请求

    多个请求是依次执行的,fd1的请求完成了,才去处理fd2的请求。

(2) 优点: 只需要一个线程,节省资源。

(3) 缺点:同一时间只能处理一个客户端操作,会有排队延迟

3、单线程 + 多路IO复用 + 多线程处理业务

(1) 解释:

    把逻辑任务分离到另外的线程池。

    创建专门用于处理逻辑业务的线程池。

    当有客户端消息到达,主线程完成io读操作后,将后续逻辑业务放入线程池的一个线程中执行,主线程继续监控IO请求。当线程执行完逻辑业务之后,将结果消息返回主线程,主线再发送给客户端。

(2) 优点: 将业务放到线程处理,减轻排队延迟。

(3) 缺点:IO 读写数据时的并发能力依然是1

4、单线程(只监听) + 多路IO复用 + 多线程处理业务和IO读写

(1) 解释:

     在3的基础上,让线程池把 IO读写 和 业务 都处理了。

     主线程只负责用来创建fd,每个线程负责监听多个客户端读写操作,以及后续逻辑业务。

     使用例子: GO语言的 原生net 和 netpoll 采用的是这个模式。

(2) 优点: 

a. 可以监听更多的fd,提升io读写的并发能力

b. 充分利用多核CPU

(3) 缺点:同一个线程内的多个客户端,依然是排队的

三、Netpoll与原生GoNet对比

1. 触发方式

Go Net:使用 边缘触发。只有一个Epoll事件循环,高并发时压力大。但消息包很大时,需要内存少。

NetPoll:使用 水平触发。支持多个事件,高并发效果更好。但消息包很大时,需要更多的内存。

2. Goroutine数目

Go Net:一个Goroutine下只有一个连接。

NetPoll:一个Goroutine下有多个连接。

3. 是否支持共用buff池,少拷贝一次数据。

Go Net:不支持。

NetPoll:支持。管理一个Buffer池直接交给用户,少拷贝一次。

四、边缘触发和水平触发的区别

1. 水平触发(LT): 若就绪的事件一次没有处理完,就会将没有处理完的事件继续放回到就绪队列之中,下一次可继续触发事件。

    必须使用非阻塞模式。因为水平触发模式会将文件描述符一直读到返回 errno或EAGAIN,非阻塞模式下才会返回这个。 而阻塞模式下不会返回这个,所以会一直阻塞卡死。

2. 边缘触发(ET):就绪的事件只能处理一次,需要一次过把数据读完。

  若没有处理完,会在下次的其它事件就绪时再进行处理。

  而若以后再也没有就绪的事件,剩余的那部分数据也会丢失。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/21666.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Spring Cloud Alibaba】服务注册与发现+远程调用

目录 注册微服务到Nacos(服务提供者)创建项目修改依赖信息添加启动注解添加配置信息启动服务,Nacos控制台查看服务列表 注册微服务到Nacos(服务消费者)创建项目添加依赖信息添加启动注解添加配置信息启动服务&#xff…

基于卷积神经网络(CNN)的深度迁移学习在声发射(AE)监测螺栓连接状况的应用

螺栓结构在工业中用于组装部件,它们在多种机械系统中扮演着关键角色。确保这些连接结构的健康状态对于航空航天、汽车和建筑等各个行业至关重要,因为螺栓连接的故障可能导致重大的安全风险、经济损失、性能下降和监管合规问题。 在早期阶段检测到螺栓松动…

vue3路由详解,从0开始手动配置路由(vite,vue-router)

创建一个不含路由的vue项目 (查看路由配置可以直接跳过这一段) 输入npm指令,然后写一个项目名称,之后一路回车即可 npm create vuelatest 注意这里我们不选引入vue router,成功后可以 查看目录 然后按提示信息输入指…

python导出手机可执行

流程: 梦想->安装打包工具->编写程序->生成打包配置->执行打包命令->生成手机可执行文件->OK完成梦想 步骤1:安装打包工具 # 安装PyInstaller pip install pyinstaller 步骤2:编写Python程序 接下来,你需要编…

新闻出版署发布新规定,腾讯游戏限制未成年人端午期间每天一小时

原标题:腾讯游戏端午节期间针对未成年人的游戏时间限制措施 易采游戏网6月3日消息:近日国家新闻出版署针对未成年人沉迷网络游戏问题发布了《关于进一步严格管理 切实防止未成年人沉迷网络游戏的通知》,旨在加强对未成年人保护的力度&#xf…

GIS之arcgis系列06:线划图缓冲区分析

缓冲区工具将在输入要素周围指定距离内创建缓冲区面。 缓冲区例程将遍历输入要素的每个折点并创建缓冲区偏移。 通过这些偏移创建输出缓冲区要素 原理: 01.打开文件 02.确定单位,在文件属性里。 03.工具箱-->分析工具-->邻域分析-->缓冲区。 …

PDF格式分析(八十三)——屏幕注释(screen)

屏幕注释(PDF 1.5及其以上版本支持),在指定页面区域内播放媒体剪辑。它也可以被actiond的动作进行触发。 下表显示了该型注释的字典条目: 条目类型详细Subtypename(必填)本词典描述的注释类型;必须为Screen。Ttext string(可选)屏幕注释的标题。MKdicti…

派派派森02

目录 1.容器 1.列表 2.元组 3.字符串 3.序列 4.集合 5.字典 2.数据容器通用操作 • max最大元素 • min最小元素 • 容器的通用转换功能 • 通用排序功能 3.字符串大小比较 4.函数中多个返回值 5.函数参数多种传递方式 1.位置参数 2.关键字参数 3.缺省参数 …

【C++/STL】list(常见接口、模拟实现、反向迭代器)

🌈个人主页:秦jh_-CSDN博客🔥 系列专栏:https://blog.csdn.net/qinjh_/category_12575764.html?spm1001.2014.3001.5482 目录 前言 list的常见接口 对迭代器的封装 节点 重载-> const迭代器 list与vector的对比 反向迭代…

2020长安杯

链接成功 检材一 1检材 1 的操作系统版本是 ()A. CentOS release 6.5 (Final)B. Ubuntu 16.04.3 LTSC. Debian GNU/ Linux 7.8 (wheezy)D. CentOS Linux release 7.6.1810 (Core)D 2检材 1 中,操作系统的内核版本是 ()(答案格式: “1.2.34” 数字和半角…

【小海实习日记】校验及优化

一、在代码中添加校验 1.与产品端确定自定义指标判断数据。 2.与前端沟通接口,沟通返回的错误码。 3.测试 4.git commit, git push 二、优化 当查询多个id大于十个以上时,原有的代码存在效率不高的情况。 原始代码中的部分是一个循环遍历 List 的过程&am…

JVMの堆、栈内存存储

1、JVM栈的数据存储 通过前面的学习,我们知道,将源代码编译成字节码文件后,JVM会对其中的字节码指令解释执行,在解释执行的过程中,又利用到了栈区的操作数栈和局部变量表两部分。 而局部变量表又分为一个个的槽位&…

前端将DOM元素导出为图片

前端工作中经常会用到把一些元素导出,比如表格,正好项目有遇到导出为excel和导出为图片,就都封装实现了一下,以供其他需求的开发者使用: 1.导出为文档 这个说白了就是下载的功能,传过去检索参数&#xff…

MySQL——事务补充

十一、RR和RC的本质区别 select * from 表名 (lock in share mode) #当不加共享锁时,说明此时进行的是快照读,加了共享锁则进行的是当前读;​ 当进行快照读的时候才会形成read view结构; ​ read view形成的时机不同&#xff0c…

超分辨重建——SRGAN网络训练自己数据集与推理测试(详细图文教程)

💪 专业从事且热爱图像处理,图像处理专栏更新如下👇: 📝《图像去噪》 📝《超分辨率重建》 📝《语义分割》 📝《风格迁移》 📝《目标检测》 📝《暗光增强》 &a…

标题:Go语言中的YAML魔法:轻松配置你的环境

摘要: 本文将介绍如何在Go语言项目中使用YAML文件来管理配置,包括如何读取YAML文件以及如何在代码中解析和使用这些配置。 正文: 在编程世界中,配置管理是每个项目都必须面对的问题。对于Go语言项目来说,YAML文件是一…

【TB作品】msp430f149单片机,读取ds18b20温度,显示到数码管,串口发送温度到电脑

功能 msp430f149单片机 读取ds18b20温度,显示到数码管,串口发送温度到电脑 部分程序 /************************************************* * 程序功能:用DS18B20测量室温并在数码管上显示。 * --------------------------------------…

计算机视觉与模式识别实验2-1 角点检测算法(Harris,SUSAN,Moravec)

文章目录 🧡🧡实验流程🧡🧡Harris算法SUSAN算法Moravec算法 🧡🧡全部代码🧡🧡 🧡🧡实验流程🧡🧡 Harris算法 Harris算法实现步骤&…

【面试题-015】DockerFile中CMD和ENTRYPOINT指令有什么区别

文章目录 DockerFile中CMD和ENTRYPOINT指令有什么区别docker容器是怎么实现的docker的联合文件系统是什么 简单说下docker如何实现网络通信 DockerFile中CMD和ENTRYPOINT指令有什么区别 在Docker中,CMD和ENTRYPOINT指令都是用来指定容器启动时运行的命令。它们之间…

《尚上优选》项目Bug记录

写在前面 本项目为该系列第二个项目,有一些问题如果没有在本文摘录,可以到 《云尚办公》项目 BUG记录 中查找是否有类似的解决方案。 (2024.3.24以下) (P11) 管理端前端node20版本启动报OpenSSL错误 经典问题,把we…