IO与NIO –中断,超时和缓冲区

假设有一个系统有时需要将文件复制到几个位置,但是这种方式在响应速度至关重要的情况下。 换句话说,如果由于某种原因文件系统过载,并且我们无法在不到一秒钟的时间内写入文件,则应该放弃。

ExecutorService是一项非常方便的工作工具。 您可以轻松地将其用于并行执行多个任务(每个任务都写入不同的文件系统)。 Yuo还可以告诉它在超时后放弃,它将为您打断他们。 完美,正是我们所需要的。

脚手架看起来像这样:

void testCopy() throws Exception {ThreadPoolExecutor exec = (ThreadPoolExecutor) Executors.newCachedThreadPool();final long start = System.currentTimeMillis();Callable<Object> task = new Callable<Object>() {@Overridepublic Object call() throws Exception {try {copy("a.bin", "b.bin");} catch (Exception e) {e.printStackTrace();}System.out.println("Call really finished after: "+ (System.currentTimeMillis() - start));return null;}};Collection<Callable<Object>> taskWrapper = Arrays.asList(task);List<Future<Object>> futures = exec.invokeAll(taskWrapper, 50,TimeUnit.MILLISECONDS);System.out.println("invokeAll finished after: "+ (System.currentTimeMillis() - start));System.out.println("Future.isCancelled? "+ futures.get(0).isCancelled());Thread.sleep(20);System.out.println("Threads still active: " + exec.getActiveCount());
}

为了在低负载的运行状况良好的系统上模拟对超时的响应,我使用了100 MB的文件并且超时非常短。 任务总是超时,我的系统无法在50毫秒内复制100 MB。

我期望得到以下结果:

  1. 大约50毫秒后, invokeAll完成。
  2. Future.isCancelled? 是真的。
  3. 活动线程计数为0。通过睡眠可以消除某些边缘情况。 长话短说,它给了复制功能一些时间来检测中断。
  4. 通话大约在50毫秒后真正结束。 这非常重要,我绝对不希望取消任务后继续执行IO操作。 在较高的负载下,这会导致过多的线程卡在虚假的IO中。

以防万一,这些测试是在64位Windows 7上的Oracle 1.6 JVM上运行的。

解决方案1:流复制

第一次尝试可能很简单-使用带有缓冲区和经典IO的循环,如下所示:

private void copy(String in, String out) throws Exception {FileInputStream fin = new FileInputStream(in);FileOutputStream fout = new FileOutputStream(out);byte[] buf = new byte[4096];int read;while ((read = fin.read(buf)) > -1) {fout.write(buf, 0, read);}fin.close();fout.close();
}

这就是所有流行的流复制库做的,包括IOUtils Apache的共享和ByteStreams番石榴。

它也不幸地失败了:

invokeAll finished after: 53
Future.isCancelled? true
Threads still active: 1
Call really finished after: 338

原因很明显:在循环中或任何地方都不检查线程中断状态,因此线程可以正常继续。

解决方案2:通过复制检查流是否中断

让我们解决这个问题! 一种方法是:

while ((read = fin.read(buf)) > -1) {fout.write(buf, 0, read);if (Thread.interrupted()) {throw new IOException("Thread interrupted, cancelling");}
}

现在可以正常工作了,打印:

invokeAll finished after: 52
java.io.IOException: Thread interrupted, cancellingat TransferTest.copyInterruptingStream(TransferTest.java:75)at TransferTest.access$0(TransferTest.java:66)at TransferTest$1.call(TransferTest.java:25)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)Future.isCancelled? trueat java.lang.Thread.run(Thread.java:662)Call really finished after: 53
Threads still active: 0

很好,但是我觉得不满意。 它看起来很脏,我对自己的IO库中的这段代码并不特别满意。 必须有更好的方法,这将我们带到……

解决方案3:带传输的NIO

NIO具有这个不错的功能,它实际上尊重线程中断。 如果在线程中断后尝试读取或写入通道,则会收到ClosedByInterruptException

那正是我所需要的。 由于某种原因,我还在StackOverflow上阅读了以下答案 :

“如果不需要,请不要使用缓冲区。 如果目标是其他磁盘或NIC,为什么还要复制到内存中? 对于较大的文件,确保的延迟是不平凡的。 (…)使用FileChannel.transferTo()FileChannel.transferFrom() 。 此处的主要优势在于,JVM使用操作系统对DMA(直接内存访问)的访问(如果存在)。 (这取决于实现方式,但是可以在通用CPU上使用现代的Sun和IBM版本。)发生的情况是,数据直接通过/从磁盘,到总线,再到目的地……直接通过RAM传递任何电路或CPU。”

太好了,让我们做吧!

private void copy(String in, String out) throws Exception {FileChannel fin = new FileInputStream(in).getChannel();FileChannel fout = new FileOutputStream(out).getChannel();fout.transferFrom(fin, 0, new File(in).length());fin.close();fout.close();
}

输出:

invokeAll finished after: 52
Future.isCancelled? true
Threads still active: 1
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)at sun.nio.ch.FileChannelImpl.size(FileChannelImpl.java:304)at sun.nio.ch.FileChannelImpl.transferFrom(FileChannelImpl.java:587)at TransferTest.copyNioTransfer(TransferTest.java:91)at TransferTest.access$0(TransferTest.java:87)at TransferTest$1.call(TransferTest.java:27)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)at java.lang.Thread.run(Thread.java:662)
Call really finished after: 146

我所要做的只是简单地调用transferFrom 。 非常简洁,并承诺会从硬件和操作系统中获得如此多的支持……但是请稍等一下,为什么要花146毫秒? 我的意思是,146毫秒比第一次测试中的338毫秒快得多,但是我希望它在50毫秒后终止。

让我们在更大的文件(大约1.5 GB)上重复测试:

invokeAll finished after: 9012
Future.isCancelled? true
Threads still active: 1
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)(...)
Call really finished after: 9170

那有多可怕? 这可能是可能发生的最糟糕的事情:

  • 任务未及时中断。 9秒太长了,我预计大约50毫秒。
  • 在整个操作过程中(9秒), invokeAll被阻止。 我勒个去?

解决方案4 –带缓冲的NIO

事实证明,我确实需要一些缓冲。 让我们尝试一下:

private void copyNioBuffered(String in, String out) throws Exception {FileChannel fin = new FileInputStream(in).getChannel();FileChannel fout = new FileOutputStream(out).getChannel();ByteBuffer buff = ByteBuffer.allocate(4096);while (fin.read(buff) != -1 || buff.position() > 0) {buff.flip();fout.write(buff);buff.compact();}fin.close();fout.close();
}

输出:

invokeAll finished after: 52
Future.isCancelled? true
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:203)at TransferTest.copyNioBuffered(TransferTest.java:105)at TransferTest.access$0(TransferTest.java:98)at TransferTest$1.call(TransferTest.java:29)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)at java.lang.Thread.run(Thread.java:662)
Call really finished after: 55
Threads still active: 0

现在正是我所需要的。 它本身就考虑到中断,因此我不需要整个IO实用程序进行那些繁琐的检查。 怪癖:不同类型的频道

如果我的IO实用程序仅用于复制按名称获取的文件,如下所示:

static public void copy(String source, String destination)

…然后很容易为NIO重写方法。

但是,如果它是在流上运行的更通用的签名,该怎么办?

static public void copy(InputStream source, OutputStream destination)

NIO有一个Channels实用程序,它具有非常有用的方法,例如:

public static ReadableByteChannel newChannel(InputStream in)
public static WritableByteChannel newChannel(OutputStream out)

因此,似乎我们可以使用此帮助程序包装流并从可中断的NIO API中受益。 在我们查看源代码之前:

public static WritableByteChannel newChannel(final OutputStream out) {if (out == null) {throw new NullPointerException();}if (out instanceof FileOutputStream &&FileOutputStream.class.equals(out.getClass())) {return ((FileOutputStream)out).getChannel();}return new WritableByteChannelImpl(out);
}private static class WritableByteChannelImplextends AbstractInterruptibleChannel // Not really interruptibleimplements WritableByteChannel
{
// ... Ignores interrupts completely

小心! 如果您的流是文件流,它们将是可中断的。 否则,您很不走运–它只是一个愚蠢的包装器,更像是API兼容性的适配器。 假设杀死,总是检查源头。

参考: IO与NIO – 松鼠博客上来自我们JCG合作伙伴 Konrad Garus的中断,超时和缓冲区 。


翻译自: https://www.javacodegeeks.com/2012/07/io-vs-nio-interruptions-timeouts-and.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/372159.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实验5 matlab程序设计2,实验5 Matlab程序设计2

实验5 Matlab程序设计21. 实验目的&#xff1a;2. 掌握建立和执行M文件的方法&#xff1b; 3. 掌握实现选择结构的方法&#xff1b; 4. 掌握实现循环结构的方法。5. 熟悉利用向量运算来代替循环操作的方法。 6. 实验内容&#xff1a;27. 根据61111 122232n2&#xff0c;求π的近…

【poj1041】 John's trip

http://poj.org/problem?id1041 (题目链接) 题意 给出一张无向图&#xff0c;求字典序最小欧拉回路。 Solution 这鬼畜的输入是什么心态啊mdzz&#xff0c;这里用vector储存边&#xff0c;便于边的排序。瞬间变成STL常数boy →_→。 细节 数组大小把握好。 代码 // poj1041 #i…

记一次ora-1652错误的解决过程

报错现象&#xff1a; 通过v$RMAN_BACKUP_JOB_DETAILS查看备份状态&#xff0c;一直卡着不出结果&#xff0c;很长一段时间之后抛出ORA-1652: unable to extend temp segment by 128 in tablespace &#xff0c;此时查看临时表空间使用情况&#xff0c;发现占用很少&#xff0c…

带有docx4j的Java Word(.docx)文档

几个月前&#xff0c;我需要创建一个包含许多表和段落的动态Word文档。 过去&#xff0c;我曾使用POI来实现此目的&#xff0c;但是我发现它很难使用&#xff0c;并且在创建更复杂的文档时对我来说效果不佳。 因此&#xff0c;对于这个项目&#xff0c;经过一番搜索&#xff0c…

mysql中distinct关键字,MySQL关键字Distinct的详细介绍

DDLPrepare SQL&#xff1a;?Prepare Data&#xff1a;?查询数据如下图所示&#xff1a;第一种情况&#xff0c;使用Distinct关键字&#xff0c;查询单列数据&#xff0c;如下图所示&#xff1a;结果&#xff1a;对 name 字段进行去重处理&#xff0c;符合预期期望&#xff0…

#pragma 预处理指令

Linux C 编程一站式学习 #pragma 预处理指示供编译器实现一些非标准的特性&#xff0c;C 标准没有规定 #pragma 后面应该写什么以及起什么作用&#xff0c;由编译器自己规定。有的编译器用 #pragma 定义一些特殊功能寄存器名&#xff0c;有的编译器用 #pragma 定位链接地址&…

px ,em ,rem

做移动端或者响应式的页面必然需要字体的变化的。这次我就自己的经验来说说他们之间的关系&#xff0c;以及怎么用。 px (绝对单位)是我们常用的就不说了。 em&#xff08;相对单位&#xff0c;相对父级&#xff09; em 指字体高&#xff0c;任意浏览器的默认字体高都是16px。所…

使用JAnnocessor生成Java代码

在本文中&#xff0c;我将向你展示如何生成的代码JAnnocessor通过创建框架Nikolche Mihajlovski 。 在Nikolche的演讲中&#xff0c;我第一次在GeeCON 2012大会上遇到JAnnocessor&#xff1a; “创新和实用的Java源代码生成” &#xff08;幻灯片&#xff09; 。 之后&#xff…

Linq学习笔记(转)

开始Linq前你要知道的 扩展方法 顾名思义就是对现有类进行扩展的的方法&#xff0c;扩展方法可以在不修改现有类的情况下&#xff0c;为现有类增加公共的接口&#xff08;不是C#中的interface&#xff09;。 扩展方法本质上是一个静态方法&#xff0c;不同之处在于它的第一个参…

cass展点不在原位置,cass中打开一副图后,通过绘图处理-——展高程点,怎么之前的图形就不显示了,,只剩下高程点!!...

答&#xff1a;1、进入控制面板&#xff0c;选择“卸载或更改程序”。 2、选中“AutoCAD2006”图标。 3、右击选择“更改”。 4、进入“AutoCAD2006安装程序对话框”&#xff0c;选择“添加/删除功能”单选按钮&#xff0c;点击下一步。 5、在“程序文件”列表中&#xff0c;选…

(二)windows下安装PHPCMS V9

一、准备工作 搭建环境 &#xff1a;参考:Windows下搭建PHP开发环境及相关注意事项PHPCMS V9 &#xff1a;下载适合自己 PHPCMS V9 版本到本地或服务器&#xff0c;下载地址&#xff1a;http://www.phpcms.cn/html/download/说明&#xff1a;官方提供了 2 种不同的编码。包括 G…

JavaFX 2.0布局窗格– HBox和VBox

如果要对JavaFX 2.0中所有不同的布局窗格进行概述&#xff0c;或者想了解有关它们的一些基本知识&#xff0c;请参阅我以前的文章《 JavaFX 2.0中的布局窗格》 。 布局窗格HBox和VBox绝对是JavaFX 2.0中最基本的布局容器。 如您所知&#xff0c;它们的用途是将所有子级布置在一…

flask mysql分页,Flask分页的实现方法

所需环境Flask-SQLAlchemy分页使用Flask-SQLAlchemy提供的pagination()方法。页数是pagination()方法的第一个参数&#xff0c;也是唯一必须的参数。可选参数per_page用来指定每页显示的记录数。参考代码&#xff1a;def index():# ...page request.args.get(page, 1, typeint…

Java中的生成器设计模式

Java 中的 Builder设计模式是一种创建模式&#xff0c;即用于创建对象&#xff0c;类似于 工厂方法设计模式 &#xff0c;这也是创建设计模式。 在学习任何设计模式之前&#xff0c;我建议先找出特定设计模式要解决的问题。 众所周知&#xff0c; 必要性是发明的母亲。 在没有面…

验证码( 随机数)

方式一&#xff08;变色版&#xff09;&#xff1a; <html> <head><meta charset"UTF-8"/><title></title><script src"jquery-2.0.2.min.js"></script> </head> <body> <?php header("co…

单片机串行通信全解析

1.什么是串行通信&#xff1f; 串行通信&#xff08;英语&#xff1a;Serial communication&#xff09;是指在计算机总线或其他数据通道上&#xff0c;每次传输一个位元数据&#xff0c;并连续进行以上单次过程的通信方式。与之对应的是并行通信&#xff0c;它在串行端口上通过…

java type 类型,java中的泛型类型与Type接口

假设我们定义了一个Room的类&#xff0c;表示一个房间public classRoom(){}由于我们建造好房间是&#xff0c;不知道房间以后的用途&#xff0c;他可能用来住人&#xff0c;也有可能用来放货物&#xff0c;因此需要用到泛型。但是我们可能想获取Room这个房间里面进来的的东西的…

centos7下操作防火墙

引言 最近使用centos7系统比较频繁&#xff0c;在配置服务器的时候&#xff0c;总是遇到能够ping通服务器&#xff0c;但是就是没有办法访问80端口&#xff0c;这个时候我的直觉告诉我&#xff0c;肯定是防火墙的原因&#xff0c;但是使用iptables却怎么都找不到命令&#xff0…

其他团队对本团队评价的总结

我们小组在看了其他小组的评价后&#xff0c;对自己的程序有了新的看法。转载于:https://www.cnblogs.com/bk1246788/p/6879691.html

Java:使用Fork / Join框架的Mergesort

此项的目的是显示一个Fork / Join RecursiveAction的简单示例&#xff0c;而不是过多地研究合并合并的可能优化方法&#xff0c;或者比使用Exkutor / Join Pool优于现有的基于Java 6的现有实现&#xff08;例如ExecutorService&#xff09;的相对优势。 以下是使用Java的自上而…