java nio FileChannel堆内堆外数据读写全流程分析及使用(附详细流程图)

这里是小奏,觉得文章不错可以关注公众号小奏技术

背景

java nio中文件读写不管是普通文件读写,还是基于mmap实现零拷贝,都离不开FileChannel这个类。

随便打开RocketMQ 源码搜索FileChannel

就可以看到使用频率

kafka也是

所以在java中文件读写FileChannel尤为重用

java文件读写全流程

这里说的仅仅是FileChannel基于堆内存(HeapByteBuffer)的文件读写。

如果是mmap或者堆外内存,可能有些步骤会省略,相当于有一些优化

  1. FileChannel调用read,将HeapByteBuffer拷贝到DirectByteBuffer
  2. JVM在native层使用read系统调用进行文件读取, 这里需要进行上下文切换,从用户态进入内核态
  3. JVM 进程进入虚拟文件系统层,查看文件数据再page cache是否缓存,如果有则直接从page cache读取并返回到DirectByteBuffer
  4. 如果请求文件数据不在page caceh,则进入文件系统。通过块驱动设备进行真正的IO,并进行文件预读,比如读取的文件可能只有1-10,但是会将1-20都读取
  5. 磁盘控制器DMA将磁盘中的数据拷贝到page cache中。这里发生了一次数据拷贝(非CPU拷贝)
  6. CPU将page cache数据拷贝到DirectByteBuffer,因为page cache属于内核空间,JVM进程无法直接寻址。这里是发生第二次数据拷贝
  7. JVM进程从内核态切换回用户态,这里如果使用的是堆内存(HeapByteBuffer),实际还需要将堆外内存DirectByteBuffer拷贝到堆内存(HeapByteBuffer)

FileChannel读写文件(非MMAP)

public static void main(String[] args) {String filename = "小奏技术.txt";String content = "Hello, 小奏技术.";// 写入文件writeFile(filename, content);// 读取文件System.out.println("Reading from file:");readFile(filename);}public static void writeFile(String filename, String content) {// 创建文件对象File file = new File(filename);// 确保文件存在if (!file.exists()) {try {boolean created = file.createNewFile();if (!created) {System.err.println("Unable to create file: " + filename);return;}} catch (Exception e) {System.err.println("An error occurred while creating the file: " + e.getMessage());return;}}// 使用FileChannel写入文件try (RandomAccessFile randomAccessFile = new RandomAccessFile(file, "rw");FileChannel fileChannel = randomAccessFile.getChannel()) {ByteBuffer buffer = ByteBuffer.allocate(content.getBytes().length);buffer.put(content.getBytes());buffer.flip(); // 切换到读模式while (buffer.hasRemaining()) {fileChannel.write(buffer);}} catch (Exception e) {System.err.println("An error occurred while writing to the file: " + e.getMessage());}}public static void readFile(String filename) {// 使用FileChannel读取文件try (RandomAccessFile randomAccessFile = new RandomAccessFile(filename, "r");FileChannel fileChannel = randomAccessFile.getChannel()) {ByteBuffer buffer = ByteBuffer.allocate((int) fileChannel.size());while (fileChannel.read(buffer) > 0) {// Do nothing, just read}// 切换到读模式buffer.flip(); /* while (buffer.hasRemaining()) {System.out.print((char) buffer.get());}*/Charset charset = StandardCharsets.UTF_8; String fileContent = charset.decode(buffer).toString();System.out.print(fileContent);} catch (Exception e) {System.err.println("An error occurred while reading the file: " + e.getMessage());}}

这里需要注意的一个细节
我们分配的内存的方式是

ByteBuffer.allocate()

这里我们可以进入看看源码

实际构造的是HeapByteBuffer,也就是JVM的堆内存

如果我们使用

ByteBuffer.allocateDirect()

则构造的是堆外内存DirectByteBuffer

HeapByteBuffer和DirectByteBuffer文件读写区别

我们看看FileChannel read方法

发现IO相关的处理被封装在IOUtil

我们继续看看IOUtilwrite方法

可以看到如果是DirectBuffer则可以直接写

如果是HeapByteBuffer则需要转换为DirectByteBuffer

为什么要在DirectByteBuffer做一层转换

主要是HeapByteBuffer受JVM管理,也就是会受到GC影响

如果在进行native调用的时候发生了GC,会导致HeapByteBuffer的内容出现错误

具体详细的说明可以看看这篇MappedByteBuffer VS FileChannel:从内核层面对比两者的性能差异

讲解的非常清晰

参考

  • MappedByteBuffer VS FileChannel:从内核层面对比两者的性能差异

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/16767.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CRC校验(循环冗余校验 Cyclic Redundancy Check)(以Modbus通信为例)

文章目录 CRC校验在Modbus通信中的应用介绍CRC校验的基本原理校验原理核心多项式 CRC在Modbus通信中的实际应用数据格式校验流程1. 发送方:计算数据包(不包括CRC校验码)的CRC校验码,然后将校验码附加到数据包的末尾。2. 接收方&am…

集合的概述

java集合框架(Java Collections Framework)为开发者提供了一系列通用容器,所谓容器就是可以容纳其他对象的对象,在jdk1.2开始,就提供了通用容器。 1.Java集合框架的概述 容器是用于容纳其他对象的对象,因此基本数据类型无法直接使…

聚数力 以数兴 | 与“闽”同行,共话数字未来

闽江之畔,数智腾飞。5月24日,第七届数字中国建设峰会在海峡国际会展中心盛大举办。本届展会的主题是“释放数据要素价值,发展新质生产力”,由国家发展改革委、国家数据局、福建省人民政府等单位共同主办,福州市人民政府…

SVD求解Ax=0

源于计算机视觉life的LiDAR视觉IMU多传感器融合SLAM:原理推导源码逐行详解项目实战 SVD求解Ax0 首先,我们需要了解四元数的基本概念。四元数是由三个虚部和一个实部组成的复数扩展,可以用来表示三维空间中的旋转。四元数的乘法规则如下&…

数据恢复的救星!快速恢复手机数据的2个秘籍!

当我们的照片、视频、联系人、短信和应用程序丢失时,许多人可能会感到束手无策,无论是珍贵的照片、重要的工作文件还是个人的联系方式,一旦丢失,都可能带来极大的不便和困扰。但随着数据恢复技术的发展,我们有了更多的…

锐捷网络与您相约第七届数字中国建设峰会 共话数字未来

第七届数字中国建设峰会将于5月24日至25日在福建福州举办,本届峰会是国家数据工作体系优化调整后首次举办的数字中国建设峰会,主题是“释放数据要素价值,发展新质生产力”。作为行业领先的ICT基础设施及解决方案提供商,锐捷网络与福建省电子信息集团、星网锐捷,围绕“发展新质生…

2024中青杯数学建模竞赛A题人工智能视域下养老辅助系统的构建思路代码论文分析

2024中青杯数学建模A题论文和代码已完成,代码为A题全部问题的代码,论文包括摘要、问题重述、问题分析、模型假设、符号说明、模型的建立和求解(问题1模型的建立和求解、问题2模型的建立和求解、问题3模型的建立和求解)、模型的评价…

java练习2

题目要求 创建一个Color枚举类有RED,BLUE,BLACK,YELLOW,GREEN这五个枚举值/对象Color有三个属性redValue,greenValue,blueValue创建构造方法,参数包括这三个属性每个枚举值都要给这三个属性赋值,三个属性对应的值分别是red&#…

Windows批处理命令和概念

Windows中的BAT文件是一种批处理文件,它允许用户执行一系列命令和脚本。这些命令可以是简单的,如复制文件或删除文件,也可以是更复杂的,如运行程序或调用其他批处理文件。以下是一些常用的Windows批处理指令: ECHO - 显…

用go语言实现一个有界协程池

写在文章开头 本篇文章算是对go语言系列的一个收尾,通过go语言实现一个实现一个简单的有界协程池。 Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项目 Java Guide 的维护…

HDR视频相关标准-HDR vivid(二)

上文介绍了HDRvivid的一些技术。今天从全局角度来看看HDR视频的处理流程,HDR视频系统,即建立一个比SDR视频更大的色彩/亮度坐标体系,并改变系统的传输函数,以再现更大的色域(WCG)和更高的亮度动态范围。 菁彩 HDR技术的专业术语 …

【ROSUbuntu】常用工具合集

1. 源 ADM64 ubuntu | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror arm64 ubuntu-ports | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 2. FileZilla sudo apt-get install filezilla 3. Nomachine8 AMD64

操作系统实战(四)(linux+C语言)

目录 实验目的 前提知识 实验题目 题目分析 实验程序 头文件 头文件实现 核心代码文件 (各类进程) 生产者 抽烟者A 抽烟者B 抽烟者C makefile文件 实验运行 运行结果分析 总结 实验目的 加深对并发协作进程同步与互斥概念的理解&…

【DNS】linux 中让系统 NetworkManager 不自动生成无效的 DNS

1. 问题背景 一些系统安装之后会自动覆盖/添加无效 DNS 设置,导致反而无法上网。 2. 解决方法 修改 /etc/NetworkManager/NetworkManager.conf 文件,在 [main] 部分下添加或修改如下: [main] dnsnone然后用以下命令重启 NetworkManager …

C# 类(Class)

1. 类的基本概念 在C#中,类是一种引用类型,用于定义对象的模板。类可以包含字段(Field)、属性(Property)、方法(Method)、事件(Event)等成员。对象是类的实例,通过类的构造函数创建。 2. 类的声明和使用 你可以使用class关键字来声明一个类: public class Pers…

简述Vue初始化过程中都做了什么?

在Vue的初始化过程中(new Vue(options)),主要执行了以下几个步骤: 创建Vue实例: 使用new Vue(options)来创建一个新的Vue实例。这里的options是一个包含Vue实例初始化所需选项的对象。 合并配置: Vue会将传…

代码随想录算法训练营day34 | 455.分发饼干、376. 摆动序列、53. 最大子序和

理论基础 贪心的本质是选择每一阶段的局部最优,从而达到全局最优。 刷题或者面试的时候,手动模拟一下感觉可以局部最优推出整体最优,而且想不到反例,那么就试一试贪心。 455.分发饼干 result和j变化一致,可以去除一…

Jenkins配置(插件/角色/凭证)

目录 传送门前言一、Jenkins插件管理1、更换为国内下载源2、中文汉化插件下载(不推荐)3、低版本Jenkins爆红插件安装4、低版本Jenkins插件持续报错解决办法 二、Jenkins用户角色三、Jenkins凭证管理(svn/git)1、Username with pas…

Qt hide()和setVisible(false)区别

前言 在一些场景下,我们需要控制控件的显示与隐藏,QWidget 类提供了两种方法来隐藏控件hide() 和 setVisible(false)。那么他们有何区别呢? widget->hide(); // ? widget->setVisible(false);hide() 和 setVisible(false…

【本周面试问题总结】

01.如何判断链表中是否有环 ①穷举遍历:从头节点开始,依次遍历单链表中的每一个节点。每遍历到一个新节点,将新节点和此前节点进行比较,若已经存在则说明已被遍历过,链表有环。 ②快慢指针:创建两个指针&am…