Excel文件解析--超大Excel文件读写

使用POI写入

        当我们想在Excel文件中写入100w条数据时,我们用普通的XSSFWorkbook对象写入时会发现,只有在将100w条数据全部加载入内存后才会用write()方法统一写入,这样效率很低,所以我们引入了SXSSFWorkbook进行超大Excel文件的读写。

        SXSSFWorkbook可以通过构造参数来控制:当数据写入内存量达到参数值时,就把这些数据flush到Excel文件中

public class Demo02_SXSSFWorkbook {public static void main(String[] args) {String Path="D://IO流//0421.xlsx";try (Workbook workbook = new SXSSFWorkbook(1000);FileOutputStream out=new FileOutputStream(Path)){//生成SheetSheet sheet=workbook.createSheet();for(int i=0;i<1000000;i++) {Row row =sheet.createRow(i);Cell cell0=row.createCell(0);cell0.setCellValue(UUID.randomUUID().toString());Cell cell1=row.createCell(1);cell1.setCellValue(new Date());}//写入输出流workbook.write(out);}catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}
}

使用EasyExcel写入

        使用EasyExcel,我们首先要导入相关jar包

         这是一个普通的Order类:

public class Order {private String orderId;private Double payment;public Order() {this.orderId=LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddHHmmss"))+UUID.randomUUID().toString().substring(0,5);this.payment=Math.random()*1000;}public String getOrderId() {return orderId;}public void setOrderId(String orderId) {this.orderId = orderId;}public Double getPayment() {return payment;}public void setPayment(Double payment) {this.payment = payment;}@Overridepublic String toString() {return "Order [orderId=" + orderId + ", payment=" + payment + "]";}
}

        然后我们来通过EasyExcel来将100w条数据写入excel文件:

public class Text_order {public static void main(String[] args) {EasyExcel.write("D://IO流//422.xlsx",Order.class).sheet("订单数据").dowrite(creatOrderData());}//生成100w条数据private static List<Order> creatOrderData(){List<Order> orderList=new ArrayList<Order>();for(int i=0;i<1000000;i++) {orderList.add(new Order());}return orderList;}
}

运行结果: 

        我们发现,Order类中的成员变量名就是我们生成的Excel文件中的列头。那么如果我们想自定义列头时,我们可以用:@ExcelProperty("列头名")

public class Order {@ExcelProperty("订单编号")private String orderId;@ExcelProperty("支付金额")private Double payment;public Order() {...}
}

运行结果:

        那么,当我们想加入一列日期数据时:

public class Order {@ExcelProperty("订单编号")private String orderId;@ExcelProperty("支付金额")private Double payment;@ExcelProperty("创建时间")private LocalDateTime  creatTime;public Order() {this.orderId=LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddHHmmss"))+UUID.randomUUID().toString().substring(0,5);this.payment=Math.random()*1000;this.creatTime=LocalDateTime.now();}public String getOrderId() {return orderId;}public void setOrderId(String orderId) {this.orderId = orderId;}public Double getPayment() {return payment;}public void setPayment(Double payment) {this.payment = payment;}public LocalDateTime getCreatTime() {return creatTime;}public void setCreatTime(LocalDateTime creatTime) {this.creatTime = creatTime;}@Overridepublic String toString() {return "Order [orderId=" + orderId + ", payment=" + payment+ ", creatTime=" + creatTime + "]";}
}

运行结果:

通过阅读报错提示(Can not find 'Converter' support class LocalDateTime.) ,我们大概可以知道,是因为找不到一个支持LocalDateTime类的转换器,所以为了解决这个问题,我们可以自己写一个比较器类:

public class LocalDateTimeConverter implements Converter<LocalDateTime> {//Excel文件中的类型@Overridepublic CellDataTypeEnum supportExcelTypeKey() {// TODO Auto-generated method stubreturn CellDataTypeEnum.STRING;}//程序中的类型@Overridepublic Class supportJavaTypeKey() {// TODO Auto-generated method stubreturn LocalDateTime.class;}//将LocalDateTime类型的数据转换成String//并封装到一个Excel文件中的CellData@Overridepublic CellData convertToExcelData(LocalDateTime value,         ExcelContentProperty arg1,GlobalConfiguration arg2)throws Exception {// TODO Auto-generated method stubreturn new CellData<>(value.format(DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss")));}//从CellData中获取一个String类型的数据//并转换成LocalDateTime@Overridepublic LocalDateTime convertToJavaData(CellData cellData,             ExcelContentProperty arg1,GlobalConfiguration arg2)throws Exception {// TODO Auto-generated method stubreturn LocalDateTime.parse(				            cellData.getStringValue(),DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss"));}
}

        当我们写好这个比较器后,就需要给成员变量creatTime显示的设置好比较器:

public class Order {@ExcelProperty("订单编号")private String orderId;@ExcelProperty("支付金额")private Double payment;//设置LocalDateTime对应转换器@ExcelProperty(value="创建时间",converter=LocalDateTimeConverter.class)private LocalDateTime  creatTime;public Order() {...}
}

运行结果:

Excel文件解析的应用

案例一:检查Excel文件

//检查demo-data.xlsx文件中的人员信息格式是否正确,具体要求如下:

// 1.序号是否连续
// 2.检查性别是否为男或女
// 3.身份证号
// 3.1 身份证号码格式(必须为18位)
// 3.2 身份证号码不能重复
// 3.3 身份证号码开头两位是否与籍贯符合
// 北京 11 天津12 河北 13 山西14 内蒙古 15
// 陕西61 甘肃62 青海 63
// 4.学历只能填写:大专、本科、硕士、其它
// 5.体重在40-180之间

public class Work01 {public static void main(String[] args) {List<String> errorMsgList=validateDataExcel("D:\\IO流\\demo-    data.xlsx");if(errorMsgList.size()==0){System.out.println("文件检查无误");}else {//显示错误信息for(String err:errorMsgList) {System.out.println(err);}}}public static List<String> validateDataExcel(String path){//创建一个list用于保存错误提示信息ArrayList<String> errorList=new ArrayList<String>();//创建一个set用于检查身份证账号是否重复的集合HashSet<String> idcardNoSet=new HashSet<String>();//创建一个HashMap用于检查身份证号码开头两位是否与籍贯符合HashMap<String,String> provinceMap=new HashMap<String,String>(){//匿名构造代码块{put("11","北京");put("12","天津");put("13","河北");put("14","山西");put("15","内蒙古");put("61","陕西");put("62","甘肃");put("63","青海");}};//创建一个用于检查学历的listList<String> eduList=Arrays.asList("大专","硕士","本科","其他");try(Workbook workbook=new XSSFWorkbook(path)){Sheet sheet=workbook.getSheetAt(0);//获取每个Cell中的数据for(int i =1;i<sheet.getLastRowNum();i++){//1.序号是否连续Cell cellId=row.getRow(0);//通过当前行数获取正确的序号int rowNum=row.getRowNum();//获取文件中的序号int id=(int)cellId.getNumericCellValue();if(rowNum!=id) {errorList.add(String.format("%d行的数据不连续",rowNum));		}//2.检查性别是否为男或女String gender =row.getCell(2).getStringCellValue();if(!ender.equals("男")&&!ender.equals("女")){errorList.add(String.format("%d行的性别有误",rowNum));}// 3.身份证号String idCardNo=row.getCell(3).getStringCellValue();// 3.1 身份证号码格式(必须为18位)if(idCardNo.length()!=18) {errorList.add(String.format("%d行的身份证号码长度有误",rowNum));}// 3.2 身份证号码不能重复//如果成功添加进idcardNoSet集合,说明该身份证号没有重复//如果添加不成功,代表有重复if(!idcardNoSet.add(idCardNo)){errorList.add(String.format("%d行的身份证号码重复",rowNum));}// 3.3 身份证号码开头两位是否与籍贯符合// 北京 11 天津12 河北 13 山西14 内蒙古 15// 陕西61 甘肃62 青海 63String idCardNoHomeCode=idCardNo.substring(0,2);//根据身份证号码前两位,在provinceMap中获取正确的籍贯省份名称String homeValue=provinceMap.get(idCardNoHomeCode);// 获取表格中当前行的籍贯省份String home=row.getCell(6).getStringCellValue();if(homeValue!=home) {errorList. add(String. format("%d行的身份证籍贯信息不一致! ", rowNum));}// 4.学历只能填写:大专、本科、硕士、其它//通过在eduList列表中查找来判断学历信息是否符合规范String eduValue = row.getCell(7). getStringCellValue();if(!eduList.contains(eduValue)) {errorList. add(String. format("%d行的学历信息不符合规范! ", rowNum));}}} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}return errorList;}}

运行结果:

1行的身份证籍贯信息不一致! 
1行的学历信息不符合规范! 
2行的身份证籍贯信息不一致! 
3行的身份证籍贯信息不一致! 
4行的数据不连续
4行的身份证籍贯信息不一致! 
5行的身份证籍贯信息不一致! 
5行的学历信息不符合规范! 
6行的身份证籍贯信息不一致! 
7行的身份证号码长度有误
7行的身份证籍贯信息不一致! 
8行的身份证籍贯信息不一致! 
9行的身份证号码长度有误
9行的身份证籍贯信息不一致! 
9行的学历信息不符合规范! 
10行的身份证籍贯信息不一致! 
11行的身份证号码长度有误
11行的身份证籍贯信息不一致! 
12行的数据不连续
12行的身份证籍贯信息不一致! 
13行的身份证号码长度有误
13行的身份证籍贯信息不一致! 
14行的身份证籍贯信息不一致! 
14行的学历信息不符合规范! 
15行的身份证籍贯信息不一致! 
15行的学历信息不符合规范! 
16行的性别有误
16行的身份证籍贯信息不一致! 
17行的身份证籍贯信息不一致! 
18行的数据不连续
18行的身份证籍贯信息不一致! 
19行的身份证籍贯信息不一致! 
20行的身份证籍贯信息不一致! 
21行的身份证籍贯信息不一致! 
22行的身份证籍贯信息不一致! 
23行的身份证籍贯信息不一致! 
24行的身份证号码重复
24行的身份证籍贯信息不一致! 
25行的性别有误
25行的身份证籍贯信息不一致! 
26行的身份证籍贯信息不一致! 
27行的身份证籍贯信息不一致! 
28行的身份证籍贯信息不一致! 
29行的身份证籍贯信息不一致! 
30行的身份证籍贯信息不一致! 
31行的身份证籍贯信息不一致! 
32行的身份证籍贯信息不一致! 
33行的身份证号码重复
33行的身份证籍贯信息不一致! 
34行的身份证籍贯信息不一致! 
35行的身份证籍贯信息不一致! 
36行的身份证号码长度有误
36行的身份证籍贯信息不一致! 
37行的身份证籍贯信息不一致! 
38行的身份证籍贯信息不一致! 
39行的身份证籍贯信息不一致! 
40行的身份证籍贯信息不一致! 
41行的身份证籍贯信息不一致! 
42行的身份证籍贯信息不一致! 
43行的身份证籍贯信息不一致! 
44行的身份证籍贯信息不一致! 
45行的身份证籍贯信息不一致! 
46行的身份证籍贯信息不一致! 
47行的身份证籍贯信息不一致! 
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/827142.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

fixture固件和装饰器@pytest.mark.parametrize的参数化差异

fixture固件中有params参数可以进行参数化配置&#xff0c;装饰器pytest.mark.parametrize也可以为用例进行参数化配置&#xff0c;它们都是pytest框架中用于参数化测试的机制&#xff0c;但它们之间还是有很大差异的&#xff0c;该篇文章就来讲一讲这二者的区别使用&#xff1…

java开发之路——node.js安装

1. 安装node.js 最新Node.js安装详细教程及node.js配置 (1)默认的全局的安装路径和缓存路径 npm安装模块或库(可以统称为包)常用的两种命令形式&#xff1a; 本地安装(local)&#xff1a;npm install 名称全局安装(global)&#xff1a;npm install 名称 -g本地安装和全局安装…

C++中的STL——stack类的基本使用

目录 stack类介绍 stack类定义 stack类常见构造函数 stack数据操作 empty()函数 size()函数 top()函数 push()函数 pop()函数 swap()函数 stack类介绍 stack是一种容器适配器&#xff0c;专门用在具有后进先出操作的上下文环境中&#xff0c;其删除只能从容器的一端…

【Leetcode】string类刷题

&#x1f525;个人主页&#xff1a;Quitecoder &#x1f525;专栏&#xff1a;Leetcode刷题 目录 1.仅反转字母2.字符串中第一个唯一字符3.验证回文串4.字符串相加5.反转字符串I I6.反转字符串中的单词III7.字符串相乘8.把字符串转换为整数 1.仅反转字母 题目链接&#xff1a;…

Rust 模式匹配中的 和 ref

一、Rust & 和 ref 1.Rust的ref有什么用 根据Rust官方文档https://doc.rust-lang.org/std/keyword.ref.html Rust ref 主要用在模式匹配match的所有权问题中。 ref在 Rust中&#xff0c;也是声明一个指针类型变量&#xff0c;进一步说明ref和&在其它方面区别&#xf…

一篇文章带您了解面向对象(java)

1.简单理解面向过程编程和面向对象编程 面向过程编程&#xff1a;开发一个一个的方法&#xff0c;有数据需要处理&#xff0c;我们就可以调用方法来处理。 package com.web.quictstart;public class demo1 {public static void main(String[] args) {totalScore("张三&q…

mac上VMware fusion net模式无法正常使用的问题

更新时间&#xff1a;2024年04月22日21:39:04 1. 问题 环境&#xff1a; intel芯片的macbook pro VMware fusion 13.5.1 无法将“Ethernet0”连接到虚拟网络“/dev/vmnet8”。在这里显示这个之后&#xff0c;应该是vmnet8的网段发生了冲突&#xff0c;所以导致无法正常使用…

【栈】Leetcode 739. 每日温度【中等】

每日温度 给定一个整数数组 temperatures &#xff0c;表示每天的温度&#xff0c;返回一个数组 answer &#xff0c;其中 answer[i] 是指对于第 i 天&#xff0c;下一个更高温度出现在几天后。如果气温在这之后都不会升高&#xff0c;请在该位置用 0 来代替。 示例 1: 输入…

【操作系统】——死锁

基础知识 一个进程需要向一个进程传递数据&#xff0c;后面的进程必须等到前面的进程到达才能继续运行&#xff0c;这是进程间的一种次序关系。称为同步 在引入线程的系统中&#xff0c;进程内的多个线程可以并发或并行运行 遇到问题&#xff1a;对资源不加限制地分配可能导致…

字符串加密

描述 这是一个古老的字符串加密方法&#xff0c;给定两个长度不超过100个字符的字符串&#xff0c;判断是否可以把其中一个重排&#xff0c;然后对26个字母做一个一一映射&#xff0c;使得两个字符串相同。 再进行映射&#xff1a;例如 每个字母映射到前一个字母&#xff08;B…

基于Spring Cloud Alibaba的异地多活设计

胡弦&#xff0c;视频号2023年度优秀创作者&#xff0c;互联网大厂P8技术专家&#xff0c;Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者&#xff0c;资深架构师&#xff0c;技术负责人&#xff0c;极客时间训练营讲师&#xff0c;四…

论坛报名 | 中关村论坛“区块链与隐私计算论坛”报名开始!

2024中关村论坛—区块链与隐私计算论坛 正在报名&#xff01; 长安链开源社区作为区块链与隐私计算分论坛协同支持社区&#xff0c;为社区成员单位提供免费参会名额&#xff0c;名额有限先到先得&#xff0c;欢迎积极报名&#xff01; 论坛时间&#xff1a;2024年4月27日&…

前端开发攻略---拖动归类,将元素拖拽到相应位置

1、演示 2、代码 <!DOCTYPE html><html lang"en"><head><meta charset"UTF-8" /><meta http-equiv"X-UA-Compatible" content"IEedge" /><meta name"viewport" content"widthdevice-…

【ZZULIOJ】1076: 三位数求解(Java)

目录 题目描述 输入 输出 样例输入 Copy 样例输出 Copy 提示 code 题目描述 已知xyzyzzn&#xff0c;其中n是一个正整数&#xff0c;x、y、z都是数字&#xff08;0-9&#xff09;&#xff0c;编写一个程序求出x、y、z分别代表什么数字。如果无解&#xff0c;则输出“No…

2024年Q1季度平板电视行业线上市场销售数据分析

Q1季度平板电视线上市场表现不如预期。 根据鲸参谋数据显示&#xff0c;2024年1月至3月线上电商平台&#xff08;京东天猫淘宝&#xff09;平板电视累计销量约360万件&#xff0c;环比下降12%&#xff0c;同比下降30%&#xff1b;累计销售额约99亿元&#xff0c;环比下降28%&a…

学习STM32第十七天

备份域详解 一、简介 在参考手册的电源控制章节&#xff0c;提到了备份域&#xff0c;BKPR是在RTC外设中用到&#xff0c;包含20个备份数据寄存器&#xff08;80字节&#xff09;&#xff0c;备份域包括4KB的备份SRAM&#xff0c;以32位、16位或8位模式寻址&#xff0c;在VBAT…

vue中使用input上传做了文件个数限制,触发了限制之后再次上传刚刚的图片触发不了事件

如果在Vue中使用<input type"file">上传文件&#xff0c;并设置了文件个数的限制&#xff0c;那么在达到限制后&#xff0c;再次上传相同的图片可能不会触发change事件。这是因为浏览器认为文件并没有发生变化&#xff0c;所以不会触发change事件。 解决这个问…

【JavaScript编程实操15】DOM实操_轮播图

前言 焦点轮播图是通过定时器实现的,每隔2秒切换到下一张图片,并隐藏当前图片,显示下一张图片。这种方式使用一套图片以一定时间间隔进行循环播放,可以营造出一种轮播的效果,可以通过CSS3动画、jQuery插件、JavaScript来实现。。 轮播图特点: ①自动循环播放 ②指示器聚…

C++初阶学习第二弹——C++入门(下)

C入门&#xff08;上&#xff09;&#xff1a;C初阶学习第一弹——C入门&#xff08;上&#xff09;-CSDN博客 目录 一、引用 1.1 引用的实质 1.2 引用的用法 二、函数重载 三、内敛函数 四、auto关键字 五、总结 前言&#xff1a; 在上面一章我们已经讲解了C的一些基本…

代码重构:提升软件开发效率的关键

代码重构在软件开发中扮演着至关重要的角色。它不仅可以提高代码的质量和可维护性&#xff0c;还能够增强代码的可读性&#xff0c;降低后期维护成本&#xff0c;从而提高开发效率。本文将探讨代码重构的作用以及我们常用的一些重构方法。 代码重构的作用 提高代码质量&#…