深入理解 Java NIO:ByteBuffer和MappedByteBuffer的特性与使用

目录

前言

ByteBuffer是什么

重要特点

分配缓冲区

读写模式切换

操作文本数据

操作基本数据类型

案例解析-循环输出数据

MappedByteBuffer是什么

MappedByteBuffer 的工作机制

刷盘时机

总结


前言

在深入学习 RocketMQ 这款高性能消息队列框架的源码时,发现 ByteBufferMappedByteBuffer在 RocketMQ 这样的高性能消息队列框架中扮演了关键角色,其核心部分广泛使用了这两种缓冲区,以实现高效的数据存储和异步刷盘操作。 接下来就深入学习ByteBuffer 和 MappedByteBuffer 的工作原理、优势特点,以便能运用到实际业务中。

ByteBuffer是什么

ByteBuffer 是 Java NIO(New Input/Output)库中的一个类,用于高效地进行字节数据的读写操作。ByteBuffer 提供了一个直接操作字节数组的接口,使得开发者可以更加灵活和高效地处理数据,特别是在处理大文件、网络通信以及其他需要高性能 I/O 操作的场景下。

重要特点

使用 ByteBuffer 进行数据读取时,内部的 position 指针会在每次读取操作后自动向前移动。这是 ByteBuffer 的基本操作原理之一,用于追踪缓冲区当前的读取或写入位置 。

分配缓冲区

ByteBuffer 类提供了两种主要的方法来分配缓冲区:allocateallocateDirect

ByteBuffer buffer = ByteBuffer.allocate(1024);
ByteBuffer directBuffer = ByteBuffer.allocateDirect(1024);
  • allocate:分配JVM堆内存中的缓冲区,所以它受 JVM 垃圾回收的管理, 在执行 I/O 操作时,可能需要将数据从堆内存复制到操作系统的 I/O 缓冲区中,相对于直接缓冲区,堆缓冲区的性能通常稍逊色,适合对性能要求不高的场景。
  • allocateDirect:分配的缓冲区是在 JVM 堆外的直接内存中,从而减少了内存复制的开销,适合需要高性能 I/O 操作的场景,由于直接缓冲区不受 JVM 垃圾回收的管理,它可能会造成内存泄漏,需要额外注意管理

读写模式切换

ByteBuffer 提供了 flip() 方法,可以方便地从写模式切换到读模式;clear() 方法可以重置缓冲区,使其再次可用于写入数据。

ByteBuffer buffer = ByteBuffer.allocate(1024);
buffer.flip();
buffer.clear();

操作文本数据

import java.nio.ByteBuffer;
import java.nio.charset.StandardCharsets;public class ByteBufferExample {public static void main(String[] args) {String text = "Hello, ByteBuffer!";// 创建一个 ByteBufferByteBuffer byteBuffer = ByteBuffer.allocate(1024);// 将字符串转换为字节数组并逐个字节写入byteBuffer.put(text.getBytes(StandardCharsets.UTF_8));// 准备读取byteBuffer.flip();// 读取并输出 ByteBuffer 中的字节byte[] outputArray = new byte[byteBuffer.remaining()];byteBuffer.get(outputArray);String outputText = new String(outputArray, StandardCharsets.UTF_8);System.out.println("Stored and retrieved text: " + outputText);}
}
  • 其中ByteBuffer.remaining() 方法就是确定在当前缓冲区的 positionlimit 之间还有多少字节可以读取。它间接告诉你“从当前位置到缓冲区结束,可以读取的字节数”。

上面案例只是对单条数据进行操作,所以获取时直接调用remaining()方法获取所有可以读取的字节数并输出。

那么我们需要存储多条数据,并且逐条输出呢?

  • 对于固定大小的数据,可以直接逐条写入数据,并在读取时使用 get 方法按固定字节数读取。(对于实际业务中很难保证操作的文本数据大小一样)
  • 对于可变大小的数据,先存储每条数据的长度,然后存储数据内容;读取时先读取长度,再读取对应大小的数据内容。(显然这种维护成本很高)

操作基本数据类型

ByteBuffer buffer = ByteBuffer.allocate(1024);
buffer.putInt(1);
buffer.putLong(1L);
buffer.putFloat(1.0f);
buffer.putDouble(1.0);
...

我们知道一个基本数据类型的大小是固定的,所以ByteBuffer提供了相关方法

  • int 类型占用 4 个字节
  • long 类型占用 8 个字节
  • float 类型占用 4 个字节
  • double 类型占用 8 个字节

案例解析-循环输出数据

如果我们一条数据由20个字节组成,并且这20个字节是三个关键数据组合(基于RocketMq源码ConsumeQueue场景简化)

我们对2条数据进行存储并获取操作。

注意:获取顺序必须与写入顺序一致!!!

public static void main(String[] args) {ByteBuffer buffer = ByteBuffer.allocate(1024);//第一条数据buffer.putLong(637823L);buffer.putInt(233);buffer.putLong(232342L);//第二条数据buffer.putLong(34234L);buffer.putInt(33);buffer.putLong(34322L);//切换读模式buffer.flip();while (buffer.hasRemaining()){//偏移量long offset = buffer.getLong();//msg大小int msgSize = buffer.getInt();//标签大小long tagsSize = buffer.getLong();//拼接一条完整的数据String msgIndex = offset + "" + msgSize + "" + tagsSize;System.out.println("msgIndex:" + msgIndex);}
}

输出:

MappedByteBuffer是什么

MappedByteBufferByteBuffer 的一个子类,所以具有ByteBuffer 的所有特性,它核心是用于内存映射文件mmap机制的一种实现)。它通过将文件映射到内存,使得应用程序可以直接在内存中对文件内容进行读写操作,而操作系统负责在适当的时候将这些修改同步到磁盘上。这种机制极大地提高了文件 I/O 的效率。

MappedByteBuffer 的工作机制

  1. 内存映射文件的内容被映射到内存后,操作系统会在后台维护内存和磁盘之间的同步。应用程序对 MappedByteBuffer 的读写操作实际上是对内存的读写,操作系统会在适当的时候将这些修改写入到磁盘中。
  2. 异步刷盘操作系统通过页面缓存机制来管理内存和磁盘之间的数据同步。修改后的页面不会立即写回磁盘,而是被标记为“脏页”(dirty page)。当页面缓存需要释放内存或达到一定条件时,操作系统会将脏页刷盘。
  3. 手动刷盘MappedByteBuffer 提供了 force() 方法,允许应用程序立即将内存中的修改同步到磁盘。这个方法会触发操作系统将映射的内存区域中的脏页写回到文件中,确保数据的持久性。
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;public class MappedByteBufferExample {public static void main(String[] args) throws Exception {RandomAccessFile file = new RandomAccessFile("example.txt", "rw");FileChannel channel = file.getChannel();// 将文件的前 1024 字节映射到内存MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024);// 在内存中修改数据buffer.put(0, (byte) 97);  // 写入 ASCII 码 'a'// 手动将内存中数据刷新到磁盘buffer.force();channel.close();file.close();}
}

刷盘时机

  • 在使用 MappedByteBuffer 进行内存映射文件操作时,除了显式调用 force() 方法触发刷盘外,其他刷盘操作由操作系统根据内存管理和 I/O 子系统的机制自行决定。应用程序通常无法确切知道刷盘的具体时间。
  • 可以通过日志、监控工具和文件系统统计信息了解系统的刷盘行为。为了确保关键数据的及时刷盘,可以显式调用刷盘方法并采用事务机制管理数据写入等。

总结

ByteBuffer 和 MappedByteBuffer 是 Java NIO 中重要的组件,通过提供高效的内存和文件操作机制,极大地提高了 I/O 操作的性能和灵活性。理解并掌握它们的使用,可以帮助我们在处理大数据量、高性能应用时游刃有余。通过学习它们的底层实现和应用场景,我们可以更好地优化应用程序的 I/O 操作,提高整体系统性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/50047.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

醒醒,别睡了...讲《数据分析pandas库》了—/—<1>

一、了解pandas No.1 Pandas 是 Python 语言的一个扩展程序库,用于数据分析,是一个强大的分析结构化数据的工具集,基础是Numpy库,可以去参考前面所讲的课。(提供高性能的矩阵运算) No.2 应用 :P…

Kylin Cube的灵动更新:部分刷新策略全解析

Kylin Cube的灵动更新:部分刷新策略全解析 Apache Kylin是一个高性能的分布式分析引擎,它通过预计算和存储多维数据模型(Cube)来加速对大数据集的查询。在实际应用中,数据经常发生变化,这就引出了一个问题…

vue上传Excel文件并直接点击文件列表进行预览

本文主要内容:用elementui的Upload 组件上传Excel文件,上传后的列表采用xlsx插件实现点击预览表格内容效果。 在项目中可能会有这样的需求,有很多种方法实现。但是不想要跳转外部地址,所以用了xlsx插件来解析表格,并展…

【数据集处理】Polars库、Parquet 文件

一、Polars 库 Polars 库在数据处理和分析方面具有显著的优势,特别是在性能和效率上。 1. 高性能 Polars 设计的核心目标之一是性能优化,尤其是针对大数据集的处理: 多线程执行:Polars 利用 Rust 编写,并且默认使用…

Docker安装kkFileView实现在线文件预览

kkFileView为文件文档在线预览解决方案,该项目使用流行的spring boot搭建,易上手和部署,基本支持主流办公文档的在线预览,如doc,docx,xls,xlsx,ppt,pptx,pdf,txt,zip,rar,图片,视频,音频等等 官方文档地址:https://kkview.cn/zh-cn/docs/production.html 一、拉取镜像 do…

1 深度学习网络DNN

代码来自B站up爆肝杰哥 测试版本 import torch import torchvisiondef print_hi(name):print(fHi, {name}) if __name__ __main__:print_hi(陀思妥耶夫斯基)print("HELLO pytorch {}".format(torch.__version__))print("torchvision.version:", torchvi…

有多个第三方sdk 里的manifest里都配置了provider,如何优化

当多个第三方 SDK 的 AndroidManifest.xml 文件中都配置了 ContentProvider,并且导致应用启动变慢时,可以通过以下优化策略来改善启动性能: 1. 推迟 ContentProvider 的初始化 将一些 ContentProvider 的初始化推迟到应用实际需要使用时再进行,而不是在应用启动时进行。可…

用在ROS2系统中保持差速轮方向不变的PID程序

在ROS 2中,为了保持差速轮机器人的方向不变,通常需要使用PID(Proportional Integral Derivative)控制器来控制机器人的角速度。PID控制器可以帮助调整机器人的角速度,以维持其朝向不变。 下面是一个简单的ROS 2节点示…

使用el-table的案例小结——包含跨页多选、双击行、分页器、编辑\删除行、动态根据分页生成序号

首先看一下业务需求 需要实现跨页多选,双击行的时候弹出编辑对话框,对每行可以进行编辑和删除,实现分页器。 如果还没在项目中配置element-plus的可以参考文章 从零开始创建vue3项目——包含项目初始化、element-plus、eslint、axios、router…

vue import from

vue import from 导入文件,从XXXX路径;引入文件 import xxxx from “./minins/resize” import xxxx from “./minins/resize.js” vue.config.js 定义 : resolve(src);就是指src 目录 import xxxx from “/utils/auth” im…

014集——RSA非对称加密——vba源代码

今天介绍一种安全的加密方法,RSA非对称加密。 RSA算法基于一个十分简单的数论事实:将两个大质数相乘十分容易,但是想要对其乘积进行因式分解却极其困难,因此可以将乘积公开作为加密密钥。 部分源代码如下: qq4434402042024年3月…

【C++初阶】string类

【C初阶】string类 🥕个人主页:开敲🍉 🔥所属专栏:C🥭 🌼文章目录🌼 1. 为什么学习string类? 1.1 C语言中的字符串 1.2 实际中 2. 标准库中的string类 2.1 string类 2.…

Web响应式设计———1、Grid布局

1、网格布局 Grid布局 流动网格布局是响应式设计的基础。它通过使用百分比而不是固定像素来定义网格和元素的宽度。这样&#xff0c;页面上的元素可以根据屏幕宽度自动调整大小&#xff0c;适应不同设备和分辨率。 <!DOCTYPE html> <html lang"en"> &l…

并发线程学习(Java)

消费者生产者模型 package thread;import java.util.LinkedList; import java.util.Queue;public class ProducerConsumer {private static final int MAX_SIZE 5;private final Queue<Integer> buffer new LinkedList<>();public synchronized void producer(i…

element表单disabled功能失效问题

element表单disabled功能失效问题 场景:当需要根据商品状态来判断是否开启disabled来禁用表单时, disabled绑定了对应的值, 但无论商品是哪种状态, 表单都能操作, disabled失效 <el-form-item label"商品分类"><el-selectv-model"form.packagesTypeI…

二叉树---二叉搜索树的最近公共祖先

题目&#xff1a; 给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为&#xff1a;“对于有根树 T 的两个结点 p、q&#xff0c;最近公共祖先表示为一个结点 x&#xff0c;满足 x 是 p、q 的祖先且 x 的深度尽可能大&#xff08;一…

Unable to connect to Redis] with root cause

Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: org.springframework.data.redis.RedisConnectionFailureException: Unable to connect to Redis] with root cause springboot运行不了&#xff0c…

Object.entries()解析出来的数组顺序乱了,健是string类型

现象: 从后端哪里拿到了一长串数据 const obj {"2023-07-01":10,"2023-09-18":2,"2023-10-10":3,"2024-01-10":1,"2024-01-12":1,"2024-02-20":4,"2024-07-01":4,... }; 比如上面的数据有一年的 并…

Mysql-索引视图

目录 1.视图 1.1什么是视图 1.2为什么需要视图 1.3视图的作用和优点 1.4创建视图 1.5更新视图 1.6视图使用规则 1.7修改视图 1.8删除视图 2.索引 2.1什么是索引 2.2索引特点 2.3索引分类 2.4索引优缺点 2.5创建索引 2.6查看索引 2.7删除索引 1.视图 1.1什么是…

go中map

文章目录 Map简介哈希表与Map的概念Go语言内建的Map类型Map的声明Map的初始化Map的访问Map的添加和修改Map的删除Map的遍历 Map的基本使用Map的声明与初始化Map的访问与操作Map的删除Map的遍历Map的并发问题实现线程安全的Map 3. Map的访问与操作3.1 访问Map元素代码示例&#…