Linux实现异步IO的方法:epoll,posix aio,libaio,io_uring

Linux中异步IO的实现方式大概有以下几种:

1. epoll

熟悉网络编程的人可能会想到select,poll,epoll这些异步IO的方式,但实际上这些方式叫做非阻塞IO,并不是实际意义上的异步IO。因此这些只能用于异步的Socket IO无法用于异步的Storage IO。而只有网络IO才存在阻塞的情况,因此你不知道网络的对方何时给你发送消息;而Storage IO则不存在这种现象,要读取的数据一直存在硬盘中。
详细的解释可以看这篇文章:https://www.pulpcode.cn/2021/04/03/regular-files-with-epoll/
关于阻塞,非阻塞,同步,异步的概念可以参考这篇文章:https://blog.csdn.net/weixin_45888152/article/details/125699347

2. POSIX AIO

首先,POSIX AIO的API在<aio.h>中,并且在编译的时候需要link librt(-lrt)。POSIX AIO 本质上在是在用户级别上实现的它在多个线程中执行正常的阻塞 I/O,因此给人一种 I/O 是异步的错觉。这样做特点是:
▶ 它适用于任何文件系统
▶ 它(基本上)可以在任何操作系统上运行
▶ 它适用于启用缓冲的文件(即不设置 O_DIRECT 标志)
而主要缺点是IO队列深度(即实际可以执行的未完成操作数)受所选线程数的限制

3. LibAIO(kernel AIO)

libaio是在内核中实现的一套异步IO方式,它不是基于多线程实现的,一般也叫做kernel AIO。Libaio的APIs在<libaio.h>中,在编译的时候需要link libaio(-laio)。内核AIO(即io_submit()等)是内核对异步I/O操作的支持,其中io请求实际上在内核中排队,按照拥有的任何磁盘调度器排序,可能其中一些请求作为异步操作(使用TCQ或NCQ)被转发(以某种最优顺序)到实际磁盘。这种方法的主要限制是,并不是所有的文件系统都能很好地使用异步I/O(并且可能会退回到阻塞语义),并且文件必须使用O_DIRECT打开,这对I/O请求有很多其他限制。如果无法使用O_DIRECT打开文件,它可能仍然“工作”,因为您可以获得正确的数据,但它可能不是异步完成的,而是回落到阻塞语义。

实际上,原生的 Linux AIO 有蠻多大大小小的问题,所以并不是真的太流行,linus也痛骂过AIO的设计:

在这里插入图片描述

4.io_uring

待补充,参考资料1,参考资料2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/52747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

有了豆包Marscode你还害怕不会写代码吗?

前言 随着科技的飞速发展&#xff0c;软件开发者们正面临着前所未有的挑战。编程任务变得越来越复杂&#xff0c;他们不仅需要编写和维护大量的代码&#xff0c;还要在严格保证代码质量的同时&#xff0c;提高开发效率。在这种背景下&#xff0c;一款高效且实用的辅助编码工具…

Depth anything v2环境相关问题

环境配置&#xff1a;numpy版本 2.x的版本不兼容。 因为我的torch版本较高&#xff0c;所以numpy改成一个较高的版本&#xff1a;1.26.4。可用 warning&#xff1a;xFormers not available xFormers: 一个用于推理加速的库&#xff0c;尤其是当输入尺寸增大时&#xff0c;能…

FastJson序列化驼峰-下划线转换问题踩坑记录

背景 问题描述 在MySQL数据表中&#xff0c;存在一个JSON结构的扩展字段&#xff0c;通过updateById进行更新写入操作。更新写入的同一个字段名出现了混合使用了驼峰命名和下划线命名两种格式。 ps: FastJson版本是1.2.83 问题影响 数仓同学离线统计数据时发现字段名有两种…

单链表——环形链表II

方法一 难想&#xff0c;但代码容易实现 根据第一道环形链表的题目我们可以得知快慢指针相交的节点&#xff0c;但是如果想要知道进入环形链表的第一个节点&#xff0c;我们就还需要定义一个指针从链表的头节点开始&#xff0c;与相交的节点同时行走&#xff0c;当两个节点重…

LeetCode刷题:3.无重复字符的最长子串

问题&#xff1a;首先分析问题得出需求 1.要求得到一个唯一最长子串的序列的长度。 子串&#xff1a;依据其形式是拥有一段长度的&#xff0c;所以考虑滑动窗口 唯一&#xff1a;考虑使用HashSet 需求描述&#xff1a;要求得到滑动窗口的大小&#xff0c;也就是左右指针的距离&…

milvus多个Querynode,资源消耗都打在一个节点上

milvus 查询时的原理 当读取数据时&#xff0c;MsgStream对象在以下场景中创建&#xff1a; 在 Milvus 中&#xff0c;数据必须先加载后才能读取。当代理收到数据加载请求时&#xff0c;会将请求发送给查询协调器&#xff0c;查询协调器决定如何将分片分配到不同的查询节点。…

根据两个位置的经纬度,计算其距离和方位

#include <iostream> #include <cmath>const double EARTH_RADIUS 6371000.0; // 地球半径 (单位&#xff1a;米) const double DEG_TO_RAD M_PI / 180.0;// 计算两个经纬度之间的距离 (单位&#xff1a;米) 和方位 (单位&#xff1a;度) void calculate_distanc…

NoSql数据库Redis集群

一、关系型数据库和 NoSQL 数据库 1.1 数据库主要分为两大类&#xff1a;关系型数据库与 NoSQL 数据库 关系型数据库 &#xff0c;是建立在关系模型基础上的数据库&#xff0c;其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL 、 Oracle 、 MS SQL Server…

做数据爬虫工作:是否需要准备单独的IP库和爬虫库?

在数据爬虫领域&#xff0c;为了确保高效、稳定且合法地进行数据采集&#xff0c;准备单独的IP库和爬虫库成为了许多爬虫工程师的必备选择。本文将探讨为什么在进行数据爬虫工作时&#xff0c;准备单独的IP库和爬虫库是至关重要的。 一、为什么需要单独的IP库&#xff1f; 1.…

vue2-2024(2)

vue-router 1.路由&#xff08;vue的一个插件&#xff09;&#xff0c;就是一组映射关系&#xff1b; 2.key为路径&#xff0c;value可能是function或component 安装 vue-router vue3 对应vue-router 4&#xff08;npm i vue-router&#xff09; vue2 对应vue-router 3&#…

云计算实训35——镜像的迁移、镜像的创建、使用docker查看ip、端口映射、容器持久化

一、镜像的迁移 打包镜像 docker save -o 文件名称 镜像名&#xff1a;标签 #查看帮助命令[rootdocker ~]#docker --help#查看save打包用法[rootdocker ~]#docker save --help#查看原有镜像[rootdocker ~]#docker images#将镜像打包[rootdocker ~]#docker save -o centos.t…

logrotate.rsyslog文件中的postrotate --- endscript作用

在 logrotate 配置文件中&#xff0c;postrotate 和 endscript 之间的部分用于在日志轮转&#xff08;即日志文件被归档和压缩后&#xff09;执行特定的命令或脚本。这段代码在日志文件完成轮转后执行&#xff0c;通常用于确保日志记录服务正确重新加载并开始使用新的日志文件。…

Python实现图片的拼接

Python实现图片的拼接 Python中有多种方法可以实现图片拼接&#xff0c;下面是一个使用Pillow库的示例&#xff1a; 首先&#xff0c;你需要安装Pillow库&#xff1a; pip install pillow然后&#xff0c;可以使用以下代码实现图片拼接&#xff1a; from PIL import Image#…

MySQL——多表操作(四)子查询(1)带 IN 关键字的子查询

子查询是指一个查询语句嵌套在另一个查询语句内部的查询。它可以嵌套在SELECT、SELECT、INTO 语句、INSERT…INTO 等语句中。在执行查询语句时&#xff0c;首会执行子查询中的语句&#xff0c;然后将返回的结果作为外层查询的过滤条件&#xff0c;在子查询中通可以使用 IN、EXI…

【C++ 面试 - 内存管理】每日 3 题(九)

✍个人博客&#xff1a;Pandaconda-CSDN博客 &#x1f4e3;专栏地址&#xff1a;http://t.csdnimg.cn/fYaBd &#x1f4da;专栏简介&#xff1a;在这个专栏中&#xff0c;我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话&#xff0c;欢迎点赞&#x1f44d;收藏&…

uniapp、微信小程序车牌的录入的解决方案

结合uv-ui进行编写&#xff0c;键盘使用uv-ui的组件&#xff0c;其他由我们自己编写。 <template><div class"addCarContent"><div class"boxContent"><div class"carCodeInput" click"getIndex"><div:cl…

紧急通知:避坑花生壳,花生壳退钱!!!推荐使用cpolar

有个需求&#xff0c;需要使用内网穿透功能。 本地使用花生壳搭建还算可以。 基于Ubantu。 然后再通过远程进行了搭建。 但是&#xff0c;搭建不成功。 一直报处于离线状态。 给花生壳客服反馈了&#xff0c;对方技术人员也无法解决。 协商退钱&#xff0c;不同意。 网上…

第八周:机器学习

目录 摘要 Abstract 一、注意力机制V.S.自注意力机制 1、引入 2、注意力机制 3、自注意力机制 二、自注意力机制 1、输入 2、输出 3、序列标注 4、Multi-head Self-attention 5、比较 总结 摘要 前两周学习了CNN的基本架构&#xff0c;针对全局信息的考虑问题&…

通过MessageChannel实现一个深拷贝

深拷贝在前端领域已经是个老生常谈的话题了,说起深拷贝相信大多数人第一反应就是通过JSON,其他的就是可以递归手写一个深拷贝,再就是使用第三方库已经写好的深拷贝,不再重复造轮子,例如:lodash。很早之前也写过关于深拷贝的博文(js深拷贝) 通过JSON进行深拷贝的一些缺陷…