记一次多线程写入文件出现IOException:Stream Closed的问题

背景

        网关在解析1000个05文件(txt)写入到SFTP文件时,是每次读取1000 * 5条数据,然后每1000笔数据创建一个线程逐条数据进行字段数值映射转换,一共创建5个线程扔到线程池进行处理。每条数据解析完都会将数据写入到SFTP的DAT文件,并且累加条数写入到CTL文件。

原来是1000笔数据才进行解析,每个文件造数据10条,导入没问题。为了方便测试,把条数调小到每次读取5 * 2 条数据,每个文件有10条数据,方便验证多线程读取有无问题。

问题来了:预期是DAT文件会写入10笔数据,CTL文件记录的条数增加10,但是每次解析写到几条就抛异常了:IOException:Stream Closed,有时候能写2条,有时候能写4条,有时候能写8条.......

分析

  • 怀疑是不是因为改了网关的代码导致的,因为原来代码写死的1000,导入是没问题的,分析一波发现,原来每个文件只有10条数据,达不到1000,所以每次导入只会创建一个线程就处理完了,回检了一遍代码应该不是调小引发的问题;
  • 改成每次只读取5 * 2条,一次读取就把文件10条数据读完了,但是还是出现报错;改成每次只读取1 * 2条数据,要读取10 / 2 = 5次,才能读完,也还是会报错;
  • 是不是数据有问题呢?应该也不是,因为在配置1000的时候是能够把这10条数据正常写入的,打了断点也没发现write的时候写入的数据有啥问题 为什么会出现有时候能够写入2条就挂了,有时候写到4条呢.....发现是由于debug断点打的位置导致多个线程执行的快慢不一致导致的,如果不是debug的话正常postman触发是每次写了2条就报错了。补充一下:读取到数据并不是马上就写入到文件中,而是将数据加到一个dataList中存放,达到1000笔才写入;还有一个写入时机,那就是执行完每个线程会调用flush()方法,将dataList中的数据写入到txt
  • 原来每个线程处理完只返回boolean,主线程使用Future<Boolean>接收,看不到具体报错信息,在线程run()里面加了日志打印,也只能看到catch中的stream closed异常,看不到其他什么有效信息......
  • 试试其他思路:百度了一下Stream Closed这个报错原因,如果一个文件流对象已经关闭过了在finally再重复关闭一次的话会报这个错,由此猜测是不是因为我在write的时候文件流对象就被关闭了呢? debug断点打在写入前文件流对象那里,发现抛异常之前这个文件流对象一直都是正常的不为null,那为啥写入的时候会抛stream closed异常呢(有个误区:我一直以为closed了对象就会为null,后面才发现只是关闭只是跟句柄断开联系对象还不是null的)
  • 为啥其他文件的导入也是调用的ConvertIn这个通用的文件解析没有问题,我调用这个就有问题了呢。查看了一下其他文件的导入代码,发现其他文件的导入每次读取完1000条数据之后,并不是写入到文件,而是调用了作业条进行发送就返回了,不存在我这种写入文件的场景,自然就不会出现stream Closed的问题
  • 我这种场景跟导出的时候ConvertOut类似,读取文件数据之后再写入到txt中,对比了一个多线程里面的run()方法,发现我每次处理完一批数据就调用数据源的close()方法对文件流对象进行释放了,而导出的ConvertOut的话里面并没有closed文件对象,而是在处理完所有数据在finally才关闭文件流对象。每次创建线程的时候都将这个文件流对象传进去,导致有些线程在执行的时候将这个对象close了,其他线程在写的时候发现已经被关闭了,所以就报Stream Closed异常了
  • 至此,终于发现问题所在了,修改一下代码每个线程处理完不马上关闭这个文件流对象,而是在主线程外面的finally统一关闭一次,这样就不会出现多线程写入的时候报Stream Closed异常了

结论

  1. 调用别人的代码要认真阅读每行的逻辑,仔细斟酌有没有什么问题,是否适用,不能看都没看就放心使用,不然出了问题也不知道是什么原因.......
  2. 多线程进行文件写入时要注意及时关闭IO流对象防止内存泄漏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/737341.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

绪论——算法设计原则【数据科学与工程算法基础】

一、题记 最近情绪不太稳定&#xff0c;些许烦躁&#xff0c;也就一直没践行前边说的“学习记录”的想法。现在开始做了&#xff0c;春华易逝&#xff0c;正当时&#xff0c;有想法就去做&#xff0c;踌躇懊悔是这个年纪最不该做的事。 二、前言 之前说了分块做这个系列&#x…

101. Go单测系列1---使用monkey打桩

本文将介绍如何在单元测试中使用monkey进行打桩。 monkey支持为任意函数及方法进行打桩。 monkey介绍 monkey是一个Go单元测试中十分常用的打桩工具&#xff0c;它在运行时通过汇编语言重写可执行文件&#xff0c;将目标函数或方法的实现跳转到桩实现&#xff0c;其原理类似…

我用 Python 做了个小仙女代码蹦迪视频

前言 最近在B站上看到一个漂亮的仙女姐姐跳舞视频&#xff0c;循环看了亿遍又亿遍&#xff0c;久久不能离开&#xff01; 看着仙紫小姐姐的蹦迪视频&#xff0c;除了一键三连还能做什么&#xff1f;突发奇想&#xff0c;能不能把小仙女的蹦迪视频转成代码舞呢&#xff1f; 说…

uniapp引入jQuery

安装 npm install jquery --saveoryarn add jquery引入 import Vue from vue import jquery from "jquery"; Vue.prototype.$ jquery;<template><view>abc</view> </template><script>export default {data() {return {}}} </scr…

Vue3全家桶 - VueRouter - 【1】快速使用(创建路由模块 + 规定路由模式 + 使用路由规则 + RouterView-RouterLink)

VueRouter Vue-Router官网&#xff1b;vue-router 是 vue.js 官方给出的路由解决方案&#xff0c;能够轻松的管理 SPA 项目中组件的切换&#xff1b;安装&#xff1a;yarn add vue-router4&#xff1b; 快速使用 1.1 创建路由模块 在项目中的 src 文件夹中创建一个 router …

【智慧公寓】东胜物联嵌入式硬件解决方案,为智慧公寓解决方案商降本增效,更快实现产品规模化生产

方案背景 东胜物联本次服务的客户是一家专注于提供智慧公寓解决方案的欧洲企业&#xff0c;该公司旨在为用户提供智能&#xff0c;便捷&#xff0c;安全的生活体验。其解决方案涵盖智慧公寓控制、自动化、能源管理和智能建筑&#xff0c;它的使命是通过复杂的控制系统使用户能…

【OpenGL实现 03】纹理贴图原理和实现

目录 一、说明二、纹理贴图原理2.1 纹理融合原理2.2 UV坐标原理 三、生成纹理对象3.1 需要在VAO上绑定纹理坐标3.2 纹理传递3.3 纹理buffer生成 四、代码实现&#xff1a;五、着色器4.1 片段4.2 顶点 五、后记 一、说明 本篇叙述在画出图元的时候&#xff0c;如何贴图纹理图片…

局域网管理工具

每个组织的业务运营方法都是独一无二的&#xff0c;其网络基础设施也是如此&#xff0c;由于随着超融合基础设施等新计算技术的发展&#xff0c;局域网变得越来越复杂&#xff0c;因此局域网管理也应该如此&#xff0c;组织需要量身定制的局域网管理解决方案&#xff0c;这些解…

php 面试题目

当涉及到PHP排序的面试题目时&#xff0c;面试官通常会希望了解你对PHP内置排序函数的理解&#xff0c;以及你如何处理复杂的排序需求。以下是一些可能的PHP排序面试题目&#xff1a; 解释PHP中sort(), rsort(), asort(), arsort(), ksort(), 和 krsort()等函数的区别和用途。…

probiller怎么订阅

很多小伙伴想订阅probiller&#xff0c;但是不知道怎么订阅&#xff0c;这里我使用的是556150的卡订阅的&#xff0c;亲测~~ 所以有想订阅的小伙伴可以点击获取5561卡片&#xff0c;此卡0年费、0月费 下面请看订阅记录 开卡步骤请看图 卡信息在卡中心&#xff0c;cvc安全码 …

(五)关系数据库标准语言SQL

注&#xff1a;课堂讲义使用的数据库 5.1利用SQL语言建立数据库 5.1.1 create Database 5.1.2 create schema...authorization... 创建数据库和创建模式的区别&#xff1a; 数据库是架构的集合&#xff0c;架构是表的集合。但在MySQL中&#xff0c;他们使用的方式是相同的。 …

网络模型的保存和读取

1. 网络保存 import torch import torchvision from torch import nnvgg16 torchvision.models.vgg16(pretrainedFalse)#保存方式1 不仅保存了网络模型结构也保存了参数 torch.save(vgg16,vgg16_method1.pth)#保存方式2 获取模型状态&#xff08;参数&#xff09;并且保存…

深入探索HAProxy:高性能负载均衡器的奥秘

目录 引言 一、HAProxy基础知识 &#xff08;一&#xff09;HAProxy概述 &#xff08;二&#xff09;核心特性 &#xff08;三&#xff09;支持调度算法 二、安装haproxy &#xff08;一&#xff09;下载源码包 &#xff08;二&#xff09;解决依赖环境 &#xff08;三…

Linux系统安装APITable智能表格并结合内网穿透实现公网访问本地服务

文章目录 前言1. 部署APITable2. cpolar的安装和注册3. 配置APITable公网访问地址4. 固定APITable公网地址 前言 vika维格表作为新一代数据生产力平台&#xff0c;是一款面向 API 的智能多维表格。它将复杂的可视化数据库、电子表格、实时在线协同、低代码开发技术四合为一&am…

TextView实现打印机效果 ,字符串逐字显示

public class FadeInTextView extends TextView { private Rect textRect new Rect(); private StringBuffer stringBuffer new StringBuffer(); private String[] arr; private int textCount; private int currentIndex -1; /** * 每个字出现的时间 */ priv…

力扣:118. 杨辉三角

力扣&#xff1a;118. 杨辉三角 描述 给定一个非负整数 numRows&#xff0c;生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中&#xff0c;每个数是它左上方和右上方的数的和。 示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]] 示例 2: 输…

第三百九十五回

文章目录 1. 概念介绍2. 生命周期状态与方法2.1 生命周期状态2.2 生命周期方法2.3 使用方法 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何监听组件的生命周期"相关的内容&#xff0c;本章回中将介绍生命周期库:Lifecycle.闲话休提&#xff0c;让我们一起Talk…

Python-Pong-Game

我还加了音效&#xff0c;类似于小时候游戏机上的弹球游戏 import os import turtle import pygame#初始化pygame pygame.init()#加载声音文件 bounce_sound pygame.mixer.Sound("bounce.mp3")wn turtle.Screen() wn.title("Pong by ") wn.bgcolor(&qu…

力扣题目训练(18)

2024年2月11日力扣题目训练 2024年2月11日力扣题目训练561. 数组拆分566. 重塑矩阵572. 另一棵树的子树264. 丑数 II274. H 指数127. 单词接龙 2024年2月11日力扣题目训练 2024年2月11日第十八天编程训练&#xff0c;今天主要是进行一些题训练&#xff0c;包括简单题3道、中等…

光栅化处理(Rasterization)

1.垂直可视角度 ​ 通常使用不同镜头的相机拍摄同一物品的时候&#xff0c;其可以看到的物体的范围是不同的&#xff0c;那么如何表示这一镜头下摄像机所能看到的范围呢&#xff1f;我们定义了一个概念——可视角。如下图所示(两条红线所框出来的角)&#xff1a; 实际上当我们…