【昕宝爸爸小模块】深入浅出之为什么POI的SXSSFWorkbook占用内存更小

在这里插入图片描述


➡️博客首页       https://blog.csdn.net/Java_Yangxiaoyuan


       欢迎优秀的你👍点赞、🗂️收藏、加❤️关注哦。


       本文章CSDN首发,欢迎转载,要注明出处哦!


       先感谢优秀的你能认真的看完本文,有问题欢迎评论区交流,都会认真回复!


🔓为什么POI的SXSSFWorkbook占用内存更小?

  • 🏆POI的SXSSFWorkbook
  • 🏆POI的SXSSFWorkbook占用内存
  • 🏆扩展
    • 配置行缓存限制

🏆POI的SXSSFWorkbook

SXSSFWorkbook类是Apache POI库的一部分,它是一个流行的Java库,用于读写Microsoft Office文件。

SXSSFWorkbook类代表XSSFWorkbook类的流版本,用于创建和操作Excel(.xlsx)文件。

通过使用SXSSFWorkbook类,您可以处理大型Excel文件而不会遇到OutOfMemoryError,因为它将数据写入临时文件而不是全部保存在内存中。这使得处理大型数据集时非常高效。

以下是使用SXSSFWorkbook创建Excel文件的示例:


import org.apache.poi.xssf.streaming.SXSSFWorkbook;import org.apache.poi.xssf.usermodel.XSSFSheet;import org.apache.poi.xssf.usermodel.XSSFRow;import org.apache.poi.xssf.usermodel.XSSFCell;import java.io.FileOutputStream;public class ExcelWriter {public static void main(String[] args) {try (SXSSFWorkbook workbook = new SXSSFWorkbook(); // 创建一个SXSSFWorkbook对象FileOutputStream outputStream = new FileOutputStream("output.xlsx")) { // 创建一个文件输出流XSSFSheet sheet = workbook.createSheet("Sheet1"); // 创建一个名为"Sheet1"的工作表// 创建行和单元格for (int rowNum = 0; rowNum < 10; rowNum++) {XSSFRow row = sheet.createRow(rowNum); // 创建一行for (int cellNum = 0; cellNum < 5; cellNum++) {XSSFCell cell = row.createCell(cellNum); // 创建一个单元格cell.setCellValue("Row " + rowNum + ", Cell " + cellNum); // 设置单元格的值}}workbook.write(outputStream); // 将工作簿写入文件} catch (Exception e) {e.printStackTrace();}}
}

在这个示例中,我们创建了一个新的SXSSFWorkbook,然后在其中创建了一个sheet,并将sheet填充了行和单元格。最后,我们使用FileOutputStream将工作簿写入输出文件中。

🏆POI的SXSSFWorkbook占用内存

SXSSFWorkbook 类是为了处理大型 Excel 文件而设计的。它的实现原理是通过将部分数据写入磁盘上的临时文件来减少内存占用

在SXSSFWorkbook类中,有一个类叫做sheetDataWriter,这个类的作用就是将部分数据写入磁盘上的临时文件的

public class SXSSFWorkbook implements Workbook {protected SheetDatalriter createSheetDatawriter() throws IOException {if( compressTmpFiles) {return new GZIPSheetDatawriter( sharedStringSource);}return new SheetDatawriter( sharedStringSource);}
}

写入过程是在 SheetDataWriter 的 writeRow 方法中实现的。此方法会被 SXSSFSheet 调用,以将行数据转换成XML 并写入临时文件。

public void writeRow(int rownum,SXSSFRow row) throws IOException {if ( numberOfFlushedRows == 0) _lowestIndex0fFlushedRows = rownum;_numberLastFlushedRow = Math.max(rownum, numberLastFlushedRow);_numberOfCellsOfLastFlushedRow = row.getLastCellNum();_numberOfFlushedRows++;beginRow(rownum, row);Iterator<Cel1> cells = row.allCellsIterator();int columnIndex = 0;while (cells.hasNext()) {writeCell(columnIndex++, cells.next());}endRow();
}

writeRow()方法会循环调用writeCell()方法:

 public void writeCell(int columnIndex,Cell cell) throws IOException {if (cell == null) {return;}String ref = new CellReference( rownum, columnIndex).formatAsString();_out.write("<c");writeAttribute("r", ref);Cellstyle cellstyle = cell.getCellstyle();if (cellstyle.getIndex() != ) {// need to convert the short to unsigned short as the indexes can be up to 64k// ideally we would use int for this index, but that would need changes to some more//APIswriteAttribute("s"Integer.toString(cellStyle.getIndex() & 0xffff));}CellType cellType = cel1.getCellType();switch (cellType) {case BLANK: {_out.write('>');break;}case FORMULA: {switch(cell.getCachedFormulaResultType()) {case NUMERIC:writeAttribute("t","n");break;case STRING:writeAttribute("t"STCellType.STR.toString());break;case BOOLEAN:writeAttribute("t""b");break;case ERROR:writeAttribute("t""e");break;}_out.write("><f>");outputQuotedString(cell.getCellFormula());_out.write("</f>"):switch (cell.getCachedFormulaResultType()) {case NUMERIC:double nval = cell.getNumericCellValue();if (!Double.isNaN(nval)) {_out.write("<v>");_out.write(Double.tostring(nval));_out.write("</v>");}break;case STRING:String value = cell.getstringCellValue();if(value != null && !value.isEmpty()) {_out.write("<v>");_out.write(value);_out.write("</v>");}break;case BOOLEAN:_out.write("><v>");_out.write(cell.getBooleanCellValue() ?1:"0");_out.write("</v>");break;case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());_out.write("><v>");_out.write(error.getString());_out.write("</v>");break;}}break;}case STRING:  {if ( sharedStringSource != null) {XSSFRichTextString rt = new XSSFRichTextString(cell.getStringCellValue());int sRef = sharedStringSource.addSharedStringItem(rt);writeAttribute("t"STCellType.s.toString());_out.write("><v>");_out.write(String.value0f(sRef));_out.write("</v>");} else {writeAttribute("t","inlineStr");_out.write("><is><t");if (hasLeadingTrailingSpaces(cell.getStringCellValue())) {writeAttribute("xml:space","preserve");}out .write(">");outputQuotedstring(cell.getstringCellValue());_out.write("</t></is>");}break;}case NUMERIC: {writeAttribute("t""n");_out.write("><v>");_out.write(Double.toString(cell.getNumericCellValue()));_out .write("</v>) ;break;}case BOOLEAN: {writeAttribute("t""b");_out .write("><v>) ;_out.write(cell.getBooleanCellValue() ?"1” :"0");out.write("</v>");break;}case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());writeAttribute("t","e");_out .write("><v>);_out.write(error.getstring());_out.write("</v>");break;}default: {throw new IllegalStateException("Invalid cell type: " + cellType);}}_out.write("</c>");}

在这个方法中,数据会在 out.write(…) 调用时写入磁盘,这里的_out其实就是一个写入磁盘文件的Writer,他的write方法就会把内容写入到临时文件中。

我尝试着在 out初始化的地方,也就是:

public SheetDatawriter() throws IOException {_fd = createTempFile();_out = createWriter( fd);
}

中加了断点,就能在运行过程中找到这个临时文件,tail一下临时文件就会发现它不断地有文件写入。

在这里插入图片描述
感兴趣的也可以debug看一下这个临时文件的内容,其实它就是一个xml文件,然后写入的就是我们excel中的内容。

在这里插入图片描述
所以,在SXSSFWorkbook中,我们在写入文件时,并不是把所有内容都暂留在内存内,而是会把部分数据写入临时文件,来减少对内存的占用,内存中只保留当前的一部分数据,这样就可以避免内存溢出的问题了。

🏆扩展

配置行缓存限制

我们可以主动设置行缓存限制,超过这个限制的数据将被写入磁盘上的临时文件。在创建SXSSFWorkbook的时候,可以指定rowAccessWindowSize来实现。

/*** Construct an empty workbook and specify the window for row access.* <p>* When a new node is created via (@link SXSSFSheet#createRow) and the total number* of unflushed records would exceed the specified value, then the* row with the lowest index value is flushed and cannot be accessed*  via f@link SXSSFSheet#getRow] anymore.* </p>* <p>* A value of <code>-1</code> indicates unlimited access. In this case all* records that have not been flushed by a call to <code>flush()</code> are available* for random access.* </p>* <p>* A value of <code>0</code> is not allowed because it would flush any newly created row* without having a chance to specify any cells.* </p>* @param rowAccesslindowSize the number of rows that are kept in memory until flushed out , see above.*/public SXSSFWorkbook(int rowAccesswindowSize){this(null /*workbook*/, rowAccessWindowSize):}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/644767.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初识SpringBoot

SpringBoot以约定大于配置的核心思想,默认帮我们进行了很多设置,简单来说就是SpringBoot其实不是什么新的框架&#xff0c;它默认配置了很多框架的使用方式&#xff0c;就像maven整合了所有的jar包&#xff0c;spring boot整合了所有的框架 。 创建的包一定要在项目主程序入口…

容联七陌x新飞电器|升级高效智能客服,实现满意度跃升新台阶

随着电商兴起&#xff0c;电器行业深入到各大电子商务平台&#xff0c;订单量、咨询量也随之增长&#xff0c;对及时响应、准确回答、高效解决、提高服务品质等需求逐渐增加。 新飞电器选择了与容联七陌合作企业版在线客服产品&#xff0c;共同打造高效、便捷、个性化的优质客…

手把手教你使用MDK仿真调试

当今的嵌入式系统开发领域中&#xff0c;高效的调试工具对于工程师来说至关重要。它们能够极大地减少开发周期中的错误追踪时间&#xff0c;并加速产品的上市时间。MDK作为业界领先的嵌入式开发工具之一&#xff0c;其内置的调试功能被广大开发者所赞誉。这些功能不仅提供了对代…

学术研究的策略与方法——从自身经验谈起

人生短短几十载&#xff0c;别让难过占一半 让导师喜欢和抓狂的学生 让导师喜欢的学生 积极主动、乐观向上 常跟导师汇报进展、讨论问题,主动push导师主动承担实验室的项目、课题、任务等 思维敏捷、有自己的想法见解&#xff0c;充满好奇 遇到问题主动寻求解决办法、提出解决…

分享一个剧本(改编自我)

不知道是不是错过了一个喜欢我的女孩&#xff0c;一个很不错的女孩&#xff0c;当初没勇气表白。去年表白过但女孩表示仅想是永远的朋友&#xff0c;今天翻他的朋友圈发现2021年我生日时&#xff0c;她分享了这首歌曲&#xff0c;还评论Best wishes!!!&#xff0c;高中有一次我…

学单片机前先学什么?

学单片机前先学什么&#xff1f; 在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「单片机的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff…

微信小程序从入门到进阶(二)

数据请求 wx.request发起网络请求&#xff0c;请求的方式主要分为两种&#xff1a; get 请求 post 请求 // get请求 // html <view><button type"primary" bindtap"onGetClick">发起 get 请求</button> </view> // js // inde…

一个简单的ETCD GUI工具

使用ETCD没有好用的GUI工具&#xff0c;随手用c#写了一个&#xff0c; 做得好玩的一个ETCD GUI工具&#xff0c;后面加上CLI 工具&#xff0c;类似于 redis Cli工具一样&#xff0c;简化在 Linux下面的操作&#xff0c;不知道有没有必要&#xff0c; git 地址如下&#xff0c;…

【制作100个unity游戏之23】实现类似七日杀、森林一样的生存游戏1(附项目源码)

本篇最终效果演示 文章目录 本篇最终效果演示系列目录前言环境素材绘制地形 实现人物移动指示显示物品名称源码完结 系列目录 【制作100个unity游戏之23】实现类似七日杀、森林一样的生存游戏1&#xff08;附项目源码&#xff09; 【制作100个unity游戏之23】实现类似七日杀、森…

面向对象、封装、继承、多态、JavaBean

二、面向对象 什么是对象 什么是对象&#xff1f;之前我们讲过&#xff0c;对象就是计算机中的虚拟物体。例如 System.out&#xff0c;System.in 等等。然而&#xff0c;要开发自己的应用程序&#xff0c;只有这些现成的对象还远远不够。需要我们自己来创建新的对象。 1. 抽…

鸿蒙开发 状态管理

最近学习鸿蒙开发。 状态管理&#xff1a; State -> Prop 单向传递&#xff1b; stateprop: State -> Prop 单向传递 State -> Link 双向传递&#xff1b;

数据的存储结构

1.类别 顺序存储、链式存储、散列存储、索引存储 2.顺序存储与链式存储的区别 顺序存储链式存储优点 可以实现随机存取每个元素占用最少的空间 充分利用所有存储单元&#xff0c;不会出现碎片现象。缺点 只能使用整块的存储单元&#xff0c;会产出较多的碎片。 需要额外的存…

面试题-【消息队列】

消息队列 问题1 如何进行消息队列的技术选型优点解耦 &#xff08;pub/sub模型&#xff09;异步&#xff08;异步接口性能优化&#xff09;削峰 使用消息队列的缺点几种消息队列的特性 问题2 引入消息队列之后该如何保证其高可用性RabbitMQ的高可用kafka高可用 问题3 在消息队列…

HCIP-BGP实验4

搭建实验拓扑图 要求 1.全网可达 2.isp只能配置IP地址 实验开始 配置IP地址及环回 r1,r2,r9,r10配ipv4地址(以r1为例) [Huawei]sysname r1 [r1]interface g0/0/0 [r1-GigabitEthernet0/0/0]ip address 12.1.1.1 24 [r1-GigabitEthernet0/0/0]q [r1]interface LoopBack 0…

Java实现考研专业课程管理系统 JAVA+Vue+SpringBoot+MySQL

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 考研高校模块2.3 高校教师管理模块2.4 考研专业模块2.5 考研政策模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 考研高校表3.2.2 高校教师表3.2.3 考研专业表3.2.4 考研政策表 四、系统展示五、核…

Cesium实现动态水面效果

目录 1.使用Primitive实现动态水面效果 2.版本问题 1.使用Primitive实现动态水面效果 let points [[87.07131373100303, 29.40857655725876],[87.33503858397042, 29.41843499494008],[87.33072496578943, 29.193059292424955],[87.05098771260403, 29.20286249623694],];l…

kali安装LAMP和DVWA

LANMP简介 LANMP是指一组通常用来搭建动态网站或者服务器的开源软件&#xff0c;本身都是各自独立的程序&#xff0c;但是因为常被放在一起使用&#xff0c;拥有了越来越高的兼容度&#xff0c;共同组成了一个强大的Web应用程序平台。 L:指Linux&#xff0c;一类Unix计算机操作…

【代码随想录13】102. 二叉树的层序遍历 226. 翻转二叉树 101. 对称二叉树

目录 102. 二叉树的层序遍历题目描述做题思路参考代码 226. 翻转二叉树题目描述做题思路参考代码 101. 对称二叉树题目描述做题思路参考代码 102. 二叉树的层序遍历 题目描述 给你二叉树的根节点 root &#xff0c;返回其节点值的 层序遍历 。 &#xff08;即逐层地&#xff…

【前端可视化】postcss-px-to-viewport 适配怎么限制最大宽度?使用 postcss-mobile-forever

需求原因 自己用 nuxt3 写官网发现用 postcss-px-to-viewport 这个插件虽然能够实现基于 vw 的响应式&#xff0c;但是无法做到限制宽度&#xff0c;比如设计稿 1920p&#xff0c;我只想让最大缩放比例为 1920p&#xff0c;不能超过&#xff0c;就无法实现了。 方案参考 纯 c…

webassembly003 whisper.cpp的python绑定实现+Cython+Setuptools

python绑定项目 官方未提供python的封装绑定&#xff0c;直接调用执行文件 https://github.com/stlukey/whispercpp.py提供了源码和Cpython结合的绑定 https://github.com/zhujun1980/whispercpp_py提供了ctype方式的绑定&#xff0c;需要先make libwhisper.so Pybind11 bi…