IO技术详解

IO监控项在监控中一直是很重要的存在,服务有IO,磁盘有IO,操作系统也有IO,IO到底是什么呢

IO

IO,即“输入/输出”(Input/Output),是指计算机系统或设备之间交换数据的过程。这个概念在计算机科学、电子学和网络通信中应用广泛。IO 主要涉及两种操作:
输入 (Input):系统或设备接收的数据。例如,键盘输入的字符、网络接收的数据包,或磁盘读取的文件内容等。
输出 (Output):系统或设备输出的数据。例如,屏幕上显示的文本、网络发送的数据包,或写入磁盘的文件内容等。
​
IO 操作的目的通常是为了完成数据在不同组件或设备之间的传输和存储。它们通常有不同的表现形式,比如:
文件 IO:对文件的读写操作。
网络 IO:在网络连接中发送和接收数据。
设备 IO:对硬件设备(如硬盘、键盘、显示器等)进行的读写操作。
涉及计算机核心与其他设备间数据迁移的过程,就是IO。如磁盘IO,就是从磁盘读取数据到内存,这算一次输入,对应的,将内存中的数据写入磁盘,就算输出。
IO 操作可能受到硬件的物理限制,因而通常是系统性能的瓶颈之一
​
操作系统将内存空间分为用户空间和内核空间,用户空间是用户访问的内存区域,内核空间是操作系统访问的区域
我们的应用程序是跑在用户空间的,不存在实质的IO过程,真正的IO是在操作系统进行的
应用程序IO分为2部分,一是IO执行,操作系统执行,一是IO调用,应用调用操作系统的IO,

同步异步IO

同步 IO:在此下,程序会等待 IO 操作完成后再继续执行。这种方式比较简单,但可能导致程序因为等待 IO 而浪费大量时间。

异步 IO:程序在发起 IO 请求后无需等待 IO 完成,可以继续执行其他任务。IO 完成后,系统会通知程序,或让程序在空闲时自行检查 IO 状态。这种方式提高了系统资源利用率和并发性能。

在传统的同步IO模型中,程序会被某个IO操作阻塞,直到该操作完成后才会继续执行。而异步IO模型的核心思想是“不要等待”,即发起一个IO操作后,程序不会等待结果,而是通过事件通知或回调函数在IO操作完成后被告知结果。这样,程序在处理多个IO任务时就不会因为等待而卡住。

异步IO的实现方式

  1. 回调函数:在发起异步IO时,传入一个回调函数,在操作完成后执行该回调函数。这种方式在JavaScript中尤为常见,例如Node.js的事件驱动模型。

  2. Future/Promise:Future和Promise是异步编程中的抽象,用于存储异步操作的结果。通过检查Promise的状态,可以判断异步操作是否完成并获取结果。这种模式在Python、Java等语言中也得到了广泛应用。

  3. 事件循环(Event Loop):事件循环是实现异步IO的常用机制,程序运行在一个单线程上,由事件循环负责监控事件队列中的任务,依次处理完成的任务。例如,Node.js通过事件循环处理异步操作。

异步IO的优缺点

优点
  • 高效的资源利用:异步IO使程序不必等待IO操作的完成,从而充分利用CPU资源。

  • 高并发支持:适合处理大量并发请求,尤其在网络服务器、数据库等I/O密集型应用中。

缺点
  • 代码复杂度增加:引入了回调函数、事件循环等机制,程序逻辑会较同步模型复杂。

  • 调试难度增加:错误追踪和调试相对困难,尤其是在多层嵌套回调的情况下。

异步IO的应用场景

  • Web服务器:如Node.js,专为高并发和网络请求设计,擅长处理大量并发连接。

  • 数据库操作:异步IO可以减少数据库连接等待时间,提高查询性能。

  • 文件读写:尤其在文件传输、大规模文件处理场景中,通过异步处理文件读写,提升整体效率。

在Python中,可以使用asyncio库实现异步IO

import asyncio
​
async def fetch_data():print("Start fetching")await asyncio.sleep(2)  # 模拟IO操作print("Data fetched")return "data"
​
async def main():result = await fetch_data()print(result)
​
# 执行异步任务
asyncio.run(main())
​

fetch_data()是一个异步任务,通过await关键字实现非阻塞的IO操作

阻塞非阻塞IO

阻塞IO

在阻塞 IO 模式中,程序在发起 IO 操作后会被“阻塞”,即停止执行其他操作,直到 IO 操作完成。只有当数据完全读取或写入时,程序才会继续执行后续代码。内核数据没有准备好,用户进程则会一直等待,影响性能

特点
  • 简单易实现,常用于同步编程。

  • 程序会一直等待 IO 操作完成,导致 CPU 资源的利用率较低,可能造成性能瓶颈。

  • 适合对延迟要求不高的应用程序,或 IO 操作时间较短的场景。

# 阻塞 IO 示例
import socket
​
sock = socket.socket()
sock.connect(('example.com', 80))
sock.send(b'GET / HTTP/1.1\r\nHost: example.com\r\n\r\n')
​
response = sock.recv(4096)  # 阻塞,等待接收数据
print(response)
sock.close()

非阻塞IO

在非阻塞 IO 模式中,程序发起 IO 操作后,不会等待 IO 操作完成,而是立即返回。程序可以继续执行其他任务,随时检查 IO 状态或等待系统通知 IO 操作的完成。

特点
  • 更高效,适合并发处理和多任务的场景。

  • 常与轮询(不断检查 IO 状态)或事件通知机制结合使用,比如 select()poll()epoll() 等。

  • 实现稍复杂,但能有效避免因等待 IO 而浪费 CPU 资源。

# 非阻塞 IO 示例
import socket
​
sock = socket.socket()
sock.setblocking(False)  # 设置为非阻塞模式
​
try:sock.connect(('example.com', 80))  # 发起连接
except BlockingIOError:# 非阻塞模式下立即返回,跳过阻塞状态pass
​
# 继续做其他事情
# 稍后再检查连接是否成功或有数据返回

IO多路复用

但是无效的轮询也会加大内存的开销

IO 多路复用是一种高效的 IO 模型,允许一个线程同时监视多个 IO 操作。它的核心思想是让操作系统帮助检测哪些 IO 资源已经准备好进行读写,而不是让每个 IO 操作都单独等待。这样可以有效地提高系统资源利用率,尤其适合处理大量并发连接的场景,如网络服务器。

在 IO 多路复用中,常用的系统调用包括 selectpollepoll

常用的 IO 多路复用方法

  1. select

    • select 是最早实现 IO 多路复用的系统调用,通过一个文件描述符集合来监控多个 IO 通道。

    • 它的调用会阻塞进程,直到一个或多个文件描述符变为就绪(可读、可写或有异常发生),然后程序可以对就绪的文件描述符执行 IO 操作。

    • 缺点在于文件描述符集合的大小有限,且需要遍历所有的文件描述符,性能较低。

  2. poll

    • pollselect 的改进版,没有文件描述符数量限制,解决了 select 的一些不足。

    • poll 通过一个数组而非集合来管理文件描述符,但仍然需要轮询所有文件描述符,且每次调用都需要重新构建文件描述符数组。

    • 随着文件描述符数量增加,poll 的性能会下降。

  3. epoll

    • epoll 是 Linux 下的高效 IO 多路复用方式,针对 selectpoll 的性能问题进行了优化。

    • epoll 的文件描述符不需要重复传递,且支持“边缘触发(edge-triggered)”和“水平触发(level-triggered)”两种模式,能够更高效地检测文件描述符的状态变化。

    • 它适合处理大量并发连接,被广泛用于高并发服务器(如 Nginx、Redis)中。

IO 多路复用的工作流程

  1. 程序创建并注册多个 IO 事件(文件描述符),告诉操作系统哪些事件需要监控。

  2. 操作系统负责检测文件描述符的状态变化,直到某些 IO 事件就绪,然后通知程序。

  3. 程序收到通知后,仅对就绪的 IO 事件执行读写操作,避免了阻塞等待,从而实现高效处理。

IO 多路复用的优势

  • 高效性:程序无需轮询所有 IO 操作,而是让操作系统通知哪些 IO 就绪,避免了不必要的 CPU 消耗。

  • 支持并发:一个线程可监控多个 IO 操作,适合高并发应用场景,避免了线程或进程创建的资源开销。

  • 提高资源利用率:通过集中管理 IO 操作,可以大幅减少阻塞时间,让程序高效利用 CPU。

import select
import socket
​
# 创建两个监听 socket
sock1 = socket.socket()
sock1.bind(('0.0.0.0', 8000))
sock1.listen()
​
sock2 = socket.socket()
sock2.bind(('0.0.0.0', 8001))
sock2.listen()
​
# 把 socket 放入 select 监控列表
inputs = [sock1, sock2]
outputs = []
​
while True:# 调用 select,监控 inputs 列表中的 socket 是否有数据就绪readable, writable, exceptional = select.select(inputs, outputs, inputs)
​for s in readable:if s is sock1 or s is sock2:# 有新的连接请求conn, addr = s.accept()print(f"Connection from {addr}")inputs.append(conn)else:# 处理现有连接的数据data = s.recv(1024)if data:print("Received:", data.decode())s.send(b"Echo: " + data)else:# 连接关闭print("Closing connection")inputs.remove(s)s.close()

在这个例子中,select.select() 会阻塞进程,直到有 IO 事件发生。通过这种方式,可以用一个线程或进程处理多个客户端连接,从而有效利用资源。

IO模型

阻塞IO同步阻塞
非阻塞IO同步非阻塞
IO多路复用同步阻塞
异步IO异步非阻塞

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/60499.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Tcp中的流量控制,拥塞控制,超时重传时间的选择,都附带相应例子说明

端口号的了解 通常进行通信时,发送方使用任意端口,指定接收方为指定端口,因为接收方在接收到后的需要根据发送方指定的接收方端口号,来选择使用哪一个服务进程进行处理。 端口号还可以分类为两个大类: TCP和UDP报文的…

Nextflow最佳实践:如何在云上高效处理大规模数据集

1. Nextflow 软件架构介绍 Nextflow 是一个用于简化数据驱动计算流程的工具,可以在各种计算环境中轻松部署。它采用了分布式计算和容器技术,实现了高度模块化、可重复性和可扩展性。NextFlow 的软件架构主要包括以下几个部分: 用户界面&…

一文看懂ERP、SCM、SRM、WMS、TMS、进销存管理系统

经常有人来私信问我ERP、SCM、SRM、WMS、TMS、进销存管理系统等等,它们听起来都很专业,但到底各自是什么?承担着怎样的角色呢?它们具体都有哪些功能?相互之间又存在怎样的关联,对企业而言又意味着什么呢&am…

深度学习——优化算法、激活函数、归一化、正则化

文章目录 🌺深度学习面试八股汇总🌺优化算法方法梯度下降 (Gradient Descent, GD)动量法 (Momentum)AdaGrad (Adaptive Gradient Algorithm)RMSProp (Root Mean Square Propagation)Adam (Adaptive Moment Estimation)AdamW 优化算法总结 经验和实践建议…

YOLOv11实战宠物狗分类

本文采用YOLOv11作为核心算法框架,结合PyQt5构建用户界面,使用Python3进行开发。YOLOv11以其高效的特征提取能力,在多个图像分类任务中展现出卓越性能。本研究针对5种宠物狗数据集进行训练和优化,该数据集包含丰富的宠物狗图像样本…

星期-时间范围选择器 滑动选择时间 最小粒度 vue3

星期-时间范围选择器 功能介绍属性说明事件说明实现代码使用范例 根据业务需要,实现了一个可选择时间范围的周视图。用户可以通过鼠标拖动来选择时间段,并且可以通过快速选择组件来快速选择特定的时间范围。 如图: 功能介绍 时间范围选择&…

云岚到家 秒杀抢购

目录 秒杀抢购业务特点 常用技术方案 抢券 抢券界面 进行抢券 我的优惠券列表 活动查询 系统设计 活动查询分析 活动查询界面显示了哪些数据? 面向高并发如何提高活动查询性能? 如何保证缓存一致性? 数据流 Redis数据结构设计 如…

JavaWeb常见注解

1.Controller 在 JavaWeb 开发中,Controller是 Spring 框架中的一个注解,主要用于定义控制器类(Controller),是 Spring MVC 模式的核心组件之一。它表示该类是一个 Spring MVC 控制器,用来处理 HTTP 请求并…

光伏储能微电网协调控制器

安科瑞 Acrel-Tu1990 1. 产品介绍 ACCU-100微电网协调控制器是一款专为微电网、分布式发电和储能系统设计的智能协调控制设备。该装置能够兼容包括光伏系统、风力发电、储能系统以及充电桩等多种设备的接入。它通过全天候的数据采集与分析,实时监控光伏、风能、储…

【C++课程学习】:继承:默认成员函数

🎁个人主页:我们的五年 🔍系列专栏:C课程学习 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 构造函数 🍩默认构造函数(这里指的是编译器生成的构造函数)&#…

泷羽sec学习打卡-Linux基础2

声明 学习视频来自B站UP主 泷羽sec,如涉及侵权马上删除文章 笔记的只是方便各位师傅学习知识,以下网站只涉及学习内容,其他的都与本人无关,切莫逾越法律红线,否则后果自负 关于Linux的那些事儿-Base2 一、Linux-Base2linux有哪些目录呢?不同目录下有哪些具体的文件呢…

TCP拥塞控制

TCP拥塞控制(Congestion Control) 什么是拥塞控制? 拥塞控制(Congestion Control)主要针对整个网络中的数据传输速率进行调节,防止过多的数据注入网络中,这样可以使网络中的路由器或链路不致于过载,以避免…

Unity教程(十八)战斗系统 攻击逻辑

Unity开发2D类银河恶魔城游戏学习笔记 Unity教程(零)Unity和VS的使用相关内容 Unity教程(一)开始学习状态机 Unity教程(二)角色移动的实现 Unity教程(三)角色跳跃的实现 Unity教程&…

自动驾驶合集(更新中)

文章目录 车辆模型控制路径规划 车辆模型 车辆模型基础合集 控制 控制合集 路径规划 规划合集

网站架构知识之Ansible进阶(day022)

1.handler触发器 应用场景:一般用于分发配置文件时候,如果配置文件有变化,则重启服务,如果没有变化,则不重启服务 案列01:分发nfs配置文件,若文件发生改变则重启服务 2.when判断 用于给ans运…

整理5个优秀的微信小程序开源项目

​ 一、Bee GitHub: https://github.com/woniudiancang/bee Bee是一个餐饮点餐商城微信小程序,是针对餐饮行业推出的一套完整的餐饮解决方案,实现了用户在线点餐下单、外卖、叫号排队、支付、配送等功能,完美的使餐饮行业更高效便捷&#x…

微服务链路追踪skywalking安装

‌SkyWalking是一个开源的分布式追踪系统,主要用于监控和分析微服务架构下的应用性能。‌ 它提供了分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案,特别适用于微服务、云原生架构和基于容器的环境(如Docker、K8s、Mesos&…

5G的发展演进

5G发展的驱动力 什么是5G [远程会议,2020年7月10日] 在来自世界各地的政府主管部门、电信制造及运营企业、研究机构约200多名会议代表和专家们的共同见证下,ITU-R WP 5D#35e远程会议宣布3GPP 5G技术(含NB-IoT)满足IMT-2020 5G技…

matlab建模入门指导

本文以水池中鸡蛋温度随时间的变化为切入点,对其进行数学建模并进行MATLAB求解,以更为通俗地进行数学建模问题入门指导。 一、问题简述 一个煮熟的鸡蛋有98摄氏度,将它放在18摄氏度的水池中,五分钟后鸡蛋的温度为38摄氏度&#x…

开源 2 + 1 链动模式、AI 智能名片、S2B2C 商城小程序在用户留存与品牌发展中的应用研究

摘要:本文以企业和个人品牌发展中至关重要的用户留存问题为切入点,结合管理大师彼得德鲁克对于企业兴旺发达的观点,阐述了用户留存对品牌营收的关键意义。在此基础上,深入分析开源 2 1 链动模式、AI 智能名片、S2B2C 商城小程序在…