详解 Java NIO

详解 Java NIO

文件的抽象化表示,字节流以及字符流的文件操作等属于传统 IO 的相关内容,我们已经在前面的文章进行了较为深刻的学习了。

但是传统的 IO 流还是有很多缺陷的,尤其它的阻塞性加上磁盘读写本来就慢,会导致 CPU 使用效率大大降低。

所以,jdk 1.4 发布了 NIO 包,NIO 的文件读写设计颠覆了传统 IO 的设计,采用『通道』+『缓存区』使得新式的 IO 操作直接面向缓存区,并且是非阻塞的,对于效率的提升真不是一点两点,我们一起来看看。

通道 Channel

我们说过,NIO 的核心就是通道和缓存区,所以它们的工作模式是这样的:

image

通道有点类似 IO 中的流,但不同的是,同一个通道既允许读也允许写,而任意一个流要么是读流要么是写流。

但是你要明白一点,通道和流一样都是需要基于物理文件的,而每个流或者通道都通过文件指针操作文件,这里说的「通道是双向的」也是有前提的,那就是通道基于随机访问文件『RandomAccessFile』的可读可写文件指针。

『RandomAccessFile』是既可读又可写的,所以基于它的通道是双向的,所以,「通道是双向的」这句话是有前提的,不能断章取义。

基本的通道类型有如下一些:

  • FileChannel
  • DatagramChannel
  • SocketChannel
  • ServerSocketChannel

FileChannel 是基于文件的通道,SocketChannel 和 ServerSocketChannel 用于网络 TCP 套接字数据报读写,DatagramChannel 是用于网络 UDP 套接字数据报读写。

通道不能单独存在,它永远需要绑定一个缓存区,所有的数据只会存在于缓存区中,无论你是写或是读,必然是缓存区通过通道到达磁盘文件,或是磁盘文件通过通道到达缓存区。

即缓存区是数据的「起点」,也是「终点」,具体这些通道到底有哪些不同以及该如何使用,基本实现如何,我们介绍完『缓存区』概念后,再做详细学习。

缓存区 Buffer

Buffer 是所有具体缓存区的基类,是一个抽象类,它的实现类有很多,包含各种类型数据的缓存。

  • ByteBuffer
  • CharBuffer
  • ShortBuffer
  • IntBuffer
  • LongBuffer
  • FloatBuffer
  • DoubleBuffer
  • MappedByteBuffer

我们以 ByteBuffer 为例进行学习,其余的缓存区也都是基于字节缓存区的,只不过多了一步字节转换过程而已,MappedByteBuffer 是一个特殊的缓存方式,我们会单独介绍。

Buffer 中有几个重要的成员属性,我们了解一下:

private int mark = -1;
private int position = 0;
private int limit;
private int capacity;
long address;

mark 属性我们已经不陌生了,用于重复读。capacity 描述缓存区容量,即整个缓存区最大能存储多少数据量。address 用于操作直接内存,区别于 jvm 内存,这一点待会说明。

而 position 和 limit 我想用一张图结合解释:

image

由于缓存区是读写共存的,所以不同的模式下,这两个变量的值也具有不同的意义。

写模式下,所谓写模式就是将缓存区中的内容写入通道。position 代表下一个字节应该被写出去的字节在缓存区中的位置,limit 表示最后一个待写字节在缓存区的位置。

读模式下,所谓读模式就是从通道读取数据到缓存区。position 代表下一个读出来的字节应当存储在缓存区的位置,limit 等于 capacity。

相关的读写操作细节,待会会和大家一起看源码,以加深对通道和缓存区协作工作的原理,这里我们先讨论一个大家可能没怎么关注过的一个问题。

JVM 内存划分为栈和堆,这是大家深入脑海的知识,但是其实划分给 JVM 的还有一块堆外内存,也就是直接内存,很多人不知道这块内存是干什么用的。

这是一块物理内存,专门用于 JVM 和 IO 设备打交道,Java 底层使用 C 语言的 API 调用操作系统与 IO 设备进行交互。

例如,Java 内存中有一个字节数组,现在调用流将它写入磁盘文件,那么 JVM 首先会将这个字节数组先拷贝一份到堆外内存中,然后调用 C 语言 API 指明将某个连续地址范围的数据写入磁盘。

读操作也是类似,而 JVM 额外做的拷贝工作也是有意义的,因为 JVM 是基于自动垃圾回收机制运行的,所有内存中的数据会在 GC 时不停的被移动,如果你调用系统 API 告诉操作系统将内存某某位置的内存写入磁盘,而此时发生 GC 移动了该部分数据,GC 结束后操作系统是不是就写错数据了。

所以,JVM 对于与外围 IO 设备交互的情况下,都会将内存数据复制一份到堆外内存中,然后调用系统 API 间接的写入磁盘,读也是类似的。由于堆外内存不受 GC 管理,所以用完一定得记得释放。

理解这一个小知识是看懂源码实现的前提,不然你可能不知道代码实现者在做什么。好了,那我们就先来看看读操作的基本使用与源码实现。

RandomAccessFile file = new RandomAccessFile("C:\\Users\\yanga\\Desktop\\note.txt","rw");
FileChannel channel = file.getChannel();ByteBuffer buffer = ByteBuffer.allocate(1024);
channel.read(buffer);buffer.flip();
byte[] res = new byte[1024];
buffer.get(res,0,buffer.limit());
System.out.println(new String(res));channel.close();

我们看这么一段代码,这段代码我大致分成了四个部分,第一部分用于获取文件通道,第二部分用于分配缓存区并完成读操作,第三部分用于将缓存区中数据进行打印,第四部分为关闭通道连接。

第一部分:

getChannel 方法用于获取一个文件相关的通道实例,具体实现如下:

public final FileChannel getChannel() {synchronized (this) {if (channel == null) {channel = FileChannelImpl.open(fd, path, true, rw, this);}return channel;}
}
public static FileChannel open
(FileDescriptor var0, String var1, boolean var2, boolean var3, Object var4) {return new FileChannelImpl(var0, var1, var2, var3, false, var4);
}

getChannel 方法会调用 FileChannelImpl 的工厂方法构建一个 FileChannelImpl 实例,FileChannelImpl 是抽象类 FileChannel 的一个子类实现。

构成 FileChannelImpl 实例所需的必要参数有,该文件的文件指针,该文件的完整路径,读写权限等。

第二部分:

Buffer 的基本结构我们上述已经简单介绍了,这里不再赘述了,所谓的缓存区,本质上就是字节数组。

public static ByteBuffer allocate(int capacity) {if (capacity < 0)throw new IllegalArgumentException();return new HeapByteBuffer(capacity, capacity);
}

ByteBuffer 实例的构建是通过工厂模式产生的,必须指定参数 capacity 作为内部字节数组的容量。HeapByteBuffer 是虚拟机的堆上内存,所有数据都将存储在堆空间,我们不久将会介绍它的一个兄弟,DirectByteBuffer,它被分配在堆外内存中,具体的一会说。

这个 HeapByteBuffer 的构造情况我们不妨跟进去看看:

HeapByteBuffer(int cap, int lim) {super(-1, 0, lim, cap, new byte[cap], 0);
}

调用父类的构造方法,初始化我们在 ByteBuffer 中提过的一些属性值,如 position,capacity,mark,limit,offset 以及字节数组 hb。

接着,我们看看这个 read 方法的调用链。
image

这个 read 方法是子类 FileChannelImpl 对父类 FileChannel read 方法的重写。这个方法不是读操作的核心,我们简单概括一下,该方法首先会拿到当前通道实例的锁,如果没有被其他线程占有,那么占有该锁,并调用 IOUtil 的 read 方法。

image

IOUtil 的 read 方法内部也调用了很多方法,有的甚至是本地方法,这里只简单介绍一下整个 read 方法的大体逻辑,具体细节留待大家自行学习。

首先判断我们的 ByteBuffer 实例是不是一个 DirectBuffer,也就是判断当前的 ByteBuffer 实例是不是被分配在直接内存中,如果是,那么将调用 readIntoNativeBuffer 方法从磁盘读取数据直接放入 ByteBuffer 实例所在的直接内存中。

否则,虚拟机将在直接内存区域分配一块内存,该内存区域的首地址存储在 var5 实例的 address 属性中。

接着从磁盘读取数据放入 var5 所代表的直接内存区域中。

最后,put 方法会将 var5 所代表的直接内存区域中的数据写入到 var1 所代表的堆内缓存区并释放临时创建的直接内存空间。

这样,我们传入的缓存区中就成功的被读入了数据。写操作是相反的,大家可以自行类比,反正堆内数据想要到达磁盘就必定要经过堆外内存的复制过程。

第三第四部分比较简单,这里不再赘述了。提醒一下,想要更好的使用这个通道和缓存区进行文件读写操作,你就一定得对缓存区的几个变量的值时刻把握住,position 和 limit 当前的值是什么,大致什么位置,一定得清晰,否则这个读写共存的缓存区可能会让你晕头转向。

选择器 Selector

Selector 是 Java NIO 的一个组件,它用于监听多个 Channel 的各种状态,用于管理多个 Channel。但本质上由于 FileChannel 不支持注册选择器,所以 Selector 一般被认为是服务于网络套接字通道的。

而大家口中的「NIO 是非阻塞的」,准确来说,指的是网络编程中客户端与服务端连接交换数据的过程是非阻塞的。普通的文件读写依然是阻塞的,和 IO 是一样的,这一点可能很多初学者会懵,包括我当时也总想不通为什么说 NIO 的文件读写是非阻塞的,明明就是阻塞的。

image

创建一个选择器一般是通过 Selector 的工厂方法,Selector.open :

Selector selector = Selector.open();

而一个通道想要注册到某个选择器中,必须调整模式为非阻塞模式,例如:

//创建一个 TCP 套接字通道
SocketChannel channel = SocketChannel.open();
//调整通道为非阻塞模式
channel.configureBlocking(false);
//向选择器注册一个通道
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);

以上代码是注册一个通道到选择器中的最简单版本,支持注册选择器的通道都有一个 register 方法,该方法就是用于注册当前实例通道到指定选择器的。

该方法的第一个参数就是目标选择器,第二个参数其实是一个二进制掩码,它指明当前选择器感兴趣当前通道的哪些事件。以枚举类型提供了以下几种取值:

  • int OP_READ = 1 << 0;
  • int OP_WRITE = 1 << 2;
  • int OP_CONNECT = 1 << 3;
  • int OP_ACCEPT = 1 << 4;

这种用二进制掩码来表示某些状态的机制,我们在讲述虚拟机类类文件结构的时候也遇到过,它就是用一个二进制位来描述一种状态。

register 方法会返回一个 SelectionKey 实例,该实例代表的就是选择器与通道的一个关联关系。你可以调用它的 selector 方法返回当前相关联的选择器实例,也可以调用它的 channel 方法返回当前关联关系中的通道实例。

除此之外,SelectionKey 的 readyOps 方法将返回当前选择感兴趣当前通道中事件中准备就绪的事件集合,依然返回的一个整型数值,也就是一个二进制掩码。

例如:

int readySet = selectionKey.readyOps();

假如 readySet 的值为 13,二进制 「0000 1101」,从后向前数,第一位为 1,第三位为 1,第四位为 1,那么说明选择器关联的通道,读就绪、写就绪,连接就绪。

所以,当我们注册一个通道到选择器之后,就可以通过返回的 SelectionKey 实例监听该通道的各种事件。

当然,一旦某个选择器中注册了多个通道,我们不可能一个一个的记录它们注册时返回的 SelectionKey 实例来监听通道事件,选择器应当有方法返回所有注册成功的通道相关的 SelectionKey 实例。

Set<SelectionKey> keys = selector.selectedKeys();

selectedKeys 方法会返回选择器中注册成功的所有通道的 SelectionKey 实例集合。我们通过这个集合的 SelectionKey 实例,可以得到所有通道的事件就绪情况并进行相应的处理操作。

下面我们以一个简单的客户端服务端连接通讯的实例应用一下上述理论知识:

image

服务端代码:

image

这段小程序的运行的实际效果是这样的,客户端建立请求到服务端,待请求完全建立,客户端会去检查服务端是否有数据写回,而服务端的任务就很简单了,接受任意客户端的请求连接并为它写回一段数据。

别看整个过程很简单,但只要你有一点模糊的地方,你这个功能就不可能实现,不信你试试,尤其是加了选择器的客户端代码,更值得大家一行一行分析。提醒一点的是,大家应更多的关注于哪些方法是阻塞的,哪些是非阻塞的,这会有助于分析代码。

这其实也算一个最最简单的服务器客户端请求模型了,理解了这一点相信会有助于理解浏览器与 Web 服务器的工作原理的,这里我就不再带大家分析了,有任何不同看法的也欢迎给我留言,咱们一起学习探讨。

想必你也能发现,加了选择器的代码会复杂很多,也并不一定高效于原来的代码,这其实是因为你的功能比较简单,并不涉及大量通道处理,逻辑一旦复杂起来,选择器给你带来的好处会非常明显。

其实,NIO 中还有一块 AIO ,也就是异步 IO 并没有介绍,因为异步 IO 涉及到很多其他方面知识,这里暂时不做介绍,后续文章将单独介绍异步任务等相关内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/557080.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

转专业计算机c语言,转专业申请美国计算机专业研究生必须要做的准备

先修课——转专业申计算机时&#xff0c;补先修课是使自己match的重要的一步。1.纽约大学的计算机硕士项目(计算机系的M.S. in Computer Science和M.S. in Information Systems项目)对申请人的先修课要求&#xff1a;The minimum prerequisite background for admission to the…

使用between and查找时间范围时的日期边界问题

最近在一个项目的后台数据库查找中&#xff0c;需要根据表中的时间字段查找某一范围内的数据&#xff08;7天、15天、30天&#xff09;&#xff0c;这时我想用between and&#xff08;其实使用DateDiff函数就可以完成&#xff0c;详情请看另一片文章&#xff1a;SQL查询今天、昨…

c语言画爱心附带解释,用C语言画一个“爱心”

/*每个main函数代表一种形状*/#includeusing namespacestd;#include#include/*int main(void){for(float y 1.5f;y > -1.5f;y - 0.06f){for(float x -1.5f;x < 1.5f;x 0.03f){float a x * x y * y - 1;putchar(a * a * a - x * x * y * y * y < 0.0f?^: );}putc…

SQL查询今天、昨天、7天内、30天

今天的所有数据&#xff1a;select * from 表名 where DateDiff(dd,datetime类型字段,getdate())0 昨天的所有数据&#xff1a;select * from 表名 where DateDiff(dd,datetime类型字段,getdate())1 7天内的所有数据&#xff1a;select * from 表名 where DateDiff(dd,dateti…

C语言入门I love China,C语言从入门到精通

如何学习C语言 Ⅰ第1篇 基础知识开启C语言编程世界之门。第1章 步入C的世界——Hello C 2视频教学录像&#xff1a;1小时34分钟你可能已经听说或知道一点C语言&#xff0c;也可能没有任何基础&#xff0c;没关系&#xff0c;本章就带领你进入C语言的编程世界。1.1 了解C语…

电气工程及其自动化学不学c语言,电气工程及其自动化学什么 就业方向有哪些...

电气工程及其自动化学什么 就业方向有哪些2019-05-05 11:16:29文/刘美娟电气工程及其自动化专业是电气信息领域的一门新兴学科&#xff0c;触角伸向各行各业&#xff0c;小到一个开关的设计&#xff0c;大到宇航飞机的研究&#xff0c;都有它的身影。由于和人们的日常生活以及工…

Tomcat(一):简介

一、概念 Tomcat 服务器是一个开源的轻量级Web应用服务器&#xff0c;在中小型系统和并发量小的场合下被普遍使用&#xff0c;是开发和调试Servlet、JSP 程序的首选。 二、原理 Tomcat结构图&#xff1a; ​ Tomcat主要组件&#xff1a;服务器Server&#xff0c;服务Serv…

Tomcat(二):server.xml配置

一、server.xml详解 Tomcat各组件关系图 ​ 1、Server ​ server.xml的最外层元素。 常用属性&#xff1a; ​ port&#xff1a;Tomcat监听shutdown命令的端口。 ​ shutdown&#xff1a;通过指定的端口&#xff08;port&#xff09;关闭Tomcat所需的字符串。修改shutd…

c语言的表达式2 4 6 8的值,C语言程序设计测试题二

一、判断题(每题2分&#xff0c;共8分)1.若有int ⅰ10, j0; 则执行完语句if (j0)ⅰ ; else ⅰ- -;ⅰ的值为11。()2.若有 int ⅰ5, j10; 则执行完语句switch ( i ){case 4: j ;case 5: j- - ;case 6: j ;case 7: j- 2;default: ;}后j的值为8。 ( )3.若有 int i10, j2;则执行完ⅰ…

Tomcat(三):日志

一、Tomcat 日志概述 日志分为两种&#xff0c;系统日志和控制台日志。 系统日志主要包含运行中日志和访问日志&#xff0c;分为5类&#xff1a;catalina、localhost、manager、localhost_access、host-manager。在logging.properties文件中进行配置。 控制台日志包含了cata…

Tomcat(四):发布和优化

一、发布Web项目的三种方式 1、在server.xml文件中找到标签元素&#xff0c;在其下使用标签配置&#xff0c;一个标签就代表一个web应用。 path属性&#xff1a;虚拟目录的名称&#xff0c;也就是对外访问路径。 docBase属性&#xff1a;web应用所在硬盘中目录地址 reloada…

c语言中foreach的用法,详解JavaScript中的forEach()方法的使用

JavaScript数组的 forEach()方法调用数组中的每个元素。语法array.forEach(callback[, thisObject]);下面是参数的详细信息&#xff1a;callback : 函数测试数组的每个元素。thisObject : 对象作为该执行回调时使用。返回值:返回创建数组。兼容性&#xff1a;这种方法是一个Jav…

Java保留两位小数的几种写法总结

相信大家在平时做项目时&#xff0c;可能会有这样的业务需求&#xff1a; 页面或界面上展示的数据保留小数点后两位。 那么这篇文章小编就和大家分享了利用Java保留两位小数的几种写法&#xff0c;文章给出了详细的示例代码&#xff0c;对大家的学习和理解很有帮助&#xff0c;…

二级c语言基础题库100题,二级C语言上题库100题.doc

二级C语言上题库100题二级C语言上机试题汇编第01套&#xff1a;给定程序中&#xff0c;函数fun的功能是&#xff1a;将形参n所指变量中&#xff0c;各位上为偶数的数去除,剩余的数按原来从高位到低位的顺序组成一个新的数&#xff0c;并通过形参指针n传回所指变量。例如&#x…

spring boot + vue 前后端分离时间戳转换为 yyyy:MM:dd HH:mm:ss格式

后端 1.model(entity)注释直接转换 当返回类型为resultMap&#xff0c;在entity类里面相应属性上加上以下注释 JsonFormat(pattern“yyyy-MM-dd HH:mm:ss”,timezone“GMT8”)2.Mapper.xml里sql语句转换 select DATE_FORMAT(对应时间属性,’’%Y-%m-%d %H:%i:%s’’) from …

android:configchanges的作用,将uiMode附加到android:configChanges实际做什么?

我只是修复了我们应用程序中的错误.问题在于,对接或取消对接设备会导致应用程序重新启动.我在拖曳大量论坛线程后发现了此修复程序,是将uiMode附加到AndroidManifest.xml文件中的android&#xff1a;configChanges属性&#xff1a;我想确保通过提交此更改,我不会破坏其他重要功…

刘庆敏 博客linux,Linux内核源码分析--zImage出生实录(Linux-3.0 ARMv7)

内核根目录下的vmlinux映像文件是内核Makefile的默认目标。这个vmlinux映像的生成可以通过阅读内核Makefile文件得知&#xff0c;简单的说&#xff1a;Makefile解析内核配置文件.config&#xff0c;递归到各目录下编译出.o文件&#xff0c;最后将其链接成vmlinux。而这个链接成…

HSSFworkbook,XSSFworkbook,SXSSFworkbook区别总结

HSSFworkbook,XSSFworkbook,SXSSFworkbook区别总结 用JavaPOI导出Excel时&#xff0c;我们需要考虑到Excel版本及数据量的问题。针对不同的Excel版本&#xff0c;要采用不同的工具类&#xff0c;如果使用错了&#xff0c;会出现错误信息。JavaPOI导出Excel有三种形式&#xff…

android项目小说阅读开发背景颜色,Android 小说阅读护眼模式

Android 小说阅读护眼模式实现方案&#xff1a;采用全局dialog 覆盖APP 悬浮在 其他APP之上&#xff0c;给dialog设置护眼色值自定义护眼模式dialogpublic class EyeProtectionDialog extends Dialog {ImageView iv;public EyeProtectionDialog(NonNull Context context) {sup…

XSSFWorkbook与HSSFWorkbook的区别

HSSFWorkbook:是操作Excel2003以前&#xff08;包括2003&#xff09;的版本&#xff0c;扩展名是.xls XSSFWorkbook:是操作Excel2007的版本&#xff0c;扩展名是.xlsx