Excel大数据量导入导出

github源码地址（更详细） : https://github.com/alibaba/easyexcel

文档：读Excel（文档已经迁移）

B 站视频 : https://www.bilibili.com/video/BV1Ff4y1U7Qc

一、JAVA解析EXCEL工具EasyExcel

Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的AP可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POl sax依然需要100M左右内存降低到几M，并且再大的excel不会出现内存溢出，03版依赖POl的sax模式。在上层做了模型转换的封装，让使用者更加简单方便

64M内存1分钟内读取75M(46W行25列)的Excel

二、EasyExcel的使用

EasyExcel的相关依赖

添加 maven 依赖

<!-- Alibaba Excel 依赖 -->
<!--它提供了高性能的读写功能，特别适合处理大型 Excel 文件 -->
<dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.4</version>
</dependency>
<!-- Apache POI 依赖 -->
<!--poi 是 Apache POI 项目的核心库，提供了读写 Microsoft Office 格式文件的基础功能，包括 .xls 文件 -->
<dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>4.1.2</version>
</dependency>
<dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>4.1.2</version>
</dependency>
<dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml-schemas</artifactId><version>4.1.2</version>
</dependency>
<!-- SLF4J 和 Logback 依赖 -->
<!-- 日志 -->
<dependency><groupId>ch.qos.logback</groupId><artifactId>logback-classic</artifactId><version>1.2.11</version>
</dependency>

三、写Excel

创建实体类

@ExcelProperty 注解的 value 属性是一个数组类型 , 设置多个 head 时会自动合并，用于指定Excel表格中该字段的显示名称（起名字）

@NoArgsConstructor 和 @AllArgsConstructor 是 Lombok 库提供的注解

@NoArgsConstructor 生成一个无参构造函数（即没有参数的构造函数）

@AllArgsConstructor 生成一个全参构造函数（即包含类中所有字段的构造函数）

@NoArgsConstructor
@AllArgsConstructor
@Data
@Builder
public class User {@ExcelProperty(value = "用户编号")private Integer userId;@ExcelProperty(value = "姓名")private String userName;@ExcelProperty(value = "性别")private String gender;@ExcelProperty(value = "工资")private Double salary;@ExcelProperty(value = "入职时间")private Date hireDate;// lombok 会生成getter/setter方法
}

1.简单写入方法一

    /*** 简单写方法一*/@Testpublic void text01(){//创建一个Excel文档String fileName = "D:\\excel\\user1.xlsx";//根据user模板构建数据List<User> users = new ArrayList<>();User user1 = new User(1,"张三","男",666.66,new Date());User user2 = new User(2,"张三","男",666.66,new Date());User user3 = new User(3,"张三","男",666.66,new Date());User user4 = new User(4,"张三","男",666.66,new Date());users.add(user1);users.add(user2);users.add(user3);users.add(user4);//向Excel表格中写数据EasyExcel.write(fileName,User.class).sheet("用户信息").doWrite(users);}

2.简单写入方法二

 /*** 简单写方法二*/@Testpublic void text02(){//创建一个Excel文档String fileName = "D:\\excel\\user2.xlsx";//根据user模板构建数据List<User> users = new ArrayList<>();User user1 = new User(1,"张三","男",666.66,new Date());User user2 = new User(2,"张三","男",666.66,new Date());User user3 = new User(3,"张三","男",666.66,new Date());User user4 = new User(4,"张三","男",666.66,new Date());users.add(user1);users.add(user2);users.add(user3);users.add(user4);//向Excel表格中写数据//创建ExcelWriter对象ExcelWriter excelWriter = EasyExcel.write(fileName, User.class).build();//创建sheet对象WriteSheet writeSheet = EasyExcel.writerSheet("用户信息").build();excelWriter.write(users,writeSheet);//关闭ExcelWriter对象（一定要关闭，不然会导致内存溢出）excelWriter.finish();}

3.排除掉某些不想添加的字段

   /*** 排除掉模板中的某几项属性*/@Testpublic void text03(){//创建一个Excel文档String fileName = "D:\\excel\\user3.xlsx";//根据user模板构建数据List<User> users = new ArrayList<>();User user1 = new User(1,"张三","男",666.66,new Date());User user2 = new User(2,"张三","男",666.66,new Date());User user3 = new User(3,"张三","男",666.66,new Date());User user4 = new User(4,"张三","男",666.66,new Date());users.add(user1);users.add(user2);users.add(user3);users.add(user4);//设置排除的属性Set<String> set = new HashSet<>();set.add("salary");set.add("hireDate");//向Excel表格中写数据EasyExcel.write(fileName, User.class).excludeColumnFiledNames(set).sheet("用户信息").doWrite(users);}

4.复杂头数据写入

@ExcelProperty 注解的 value 属性是一个数组类型 , 设置多个 head 时会自动合并

/*** 复杂头实体类*/
@NoArgsConstructor
@AllArgsConstructor
@Data
@Builder
public class ComplexHeadUser {@ExcelProperty(value = {"group1", "用户编号"}, index = 0)private Integer userId;@ExcelProperty(value = {"group1", "姓名"}, index = 1)private String userName;@ExcelProperty(value = {"group2", "入职时间"}, index = 2)private Date hireDate;
}

  /*** 复杂头*/@Testpublic void text05(){//创建一个Excel文档String fileName = "D:\\excel\\user5.xlsx";//根据user模板构建数据List<ComplexHeadUser> users = new ArrayList<>();ComplexHeadUser user1 = new ComplexHeadUser(1,"张三",new Date());ComplexHeadUser user2 = new ComplexHeadUser(2,"张三",new Date());ComplexHeadUser user3 = new ComplexHeadUser(3,"张三",new Date());users.add(user1);users.add(user2);users.add(user3);//向Excel表格中写数据EasyExcel.write(fileName, ComplexHeadUser.class).sheet("用户信息").doWrite(users);}

//或
@Test
public void testWriteExcel6() {String filename = "D:\\study\\user6.xlsx";List<ComplexHeadUser> users = new ArrayList<>();for (int i = 1; i <= 10; i++) {ComplexHeadUser user = ComplexHeadUser.builder().userId(i).userName("大哥" + i).hireDate(new Date()).build();users.add(user);}// 向Excel中写入数据EasyExcel.write(filename, ComplexHeadUser.class).sheet("用户信息").doWrite(users);
}

处理百万级批量数据

处理百万级批量数据时，性能和内存管理是关键问题。 EasyExcel 提供了一些优化策略来处理大规模数据，包括分页读取和分批写入。下面是一些常用的优化技巧：

1. 分批写入

对于写操作，可以使用 EasyExcel 的分批写入功能，这样可以避免一次性加载大量数据导致的内存溢出问题。

假设您有一个 User 类，定义如下：

/*** 创建User类模板,通过User类模板向Excel表格中写数据*  @ExcelProperty这个注解用于指定Excel表格中该字段的显示名称（起名字）*/
@NoArgsConstructor
@AllArgsConstructor
@Data
@Builder
public class User {@ExcelProperty(value = "用户编号")private Integer userId;@ExcelProperty(value = "姓名")private String userName;@ExcelProperty(value = "性别")private String gender;@ExcelProperty(value = "工资")private Double salary;@ExcelProperty(value = "入职时间")private Date hireDate;// lombok 会生成getter/setter方法}

 /*** 处理百万级批量数据*/@Testpublic void text06(){//创建一个Excel文档String fileName = "D:\\excel\\user6.xlsx";// 确保目录存在File directory = new File("D:\\excel");if (!directory.exists()) {directory.mkdirs();}// 分批大小int batchSize = 10000;// 创建 ExcelWriter 对象ExcelWriter excelWriter = EasyExcel.write(fileName, User.class).build();for (List<User> data : dataList(batchSize)) {// 创建 sheet 对象WriteSheet writeSheet = EasyExcel.writerSheet("用户信息").build();// 写数据excelWriter.write(data, writeSheet);}excelWriter.finish();System.out.println("Excel文件已成功创建！");}private List<List<User>> dataList(int batchSize) {List<List<User>> allData = new ArrayList<>();int totalRecords = 1000000; // 假设有 100 万条记录for (int i = 0; i < totalRecords; i += batchSize) {List<User> batch = new ArrayList<>();for (int j = 0; j < batchSize && i + j < totalRecords; j++) {User user = User.builder().userId(i + j + 1).userName("用户" + (i + j + 1)).gender(j % 2 == 0 ? "男" : "女").salary(10000.0 + (i + j) * 1000.0).hireDate(new Date()).build();batch.add(user);}allData.add(batch);}return allData;}

解释

1. 分批大小 ： batchSize 定义了每批写入的数据量。可以根据实际需求调整这个值。

2. 创建 ExcelWriter 对象：使用 EasyExcel.write 方法创建 ExcelWriter 对象，并指定文件路径和数据模型类。

3. 分批写入数据 ： dataList 方法生成分批的数据列表，每次调用 doWrite 方法写入一批数据。

5.分页读取

对于读操作，可以使用 EasyExcel 的分页读取功能，每次只读取一部分数据进行处理。

1. 创建 User 类

首先，定义一个 User 类，用于表示 Excel 文件中的每一行数据

package com.hz.pojo;
import com.alibaba.excel.annotation.ExcelProperty;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;
import java.util.Date;
@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class User {@ExcelProperty(value = "用户编号")private Integer userId;@ExcelProperty(value = "姓名")private String userName;@ExcelProperty(value = "性别")private String gender;@ExcelProperty(value = "工资")private Double salary;@ExcelProperty(value = "入职时间")private Date hireDate;
}

2. 创建 UserListener 类

实现 AnalysisEventListener 接口，用于处理读取的数据

package com.hz.listener;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.hz.pojo.User;
import java.util.ArrayList;
import java.util.List;
public class UserListener extends AnalysisEventListener<User> {private static final int BATCH_COUNT = 1000; // 每次处理的数据量private List<User> list = new ArrayList<>(BATCH_COUNT);private int batchNumber = 1; // 记录当前处理的批次/*** 每读取一行数据时调用此方法。* @param user 当前行的数据对象* @param context 上下文对象，包含读取状态等信息*/@Overridepublic void invoke(User user, AnalysisContext context) {list.add(user); // 将当前行的数据对象添加到列表中if (list.size() >= BATCH_COUNT) {saveData(); // 如果列表达到批量大小，则保存数据list.clear(); // 清空列表，准备下一批数据batchNumber++; // 增加批次计数}}/*** 所有数据读取完成后调用此方法。* @param context 上下文对象，包含读取状态等信息*/@Overridepublic void doAfterAllAnalysed(AnalysisContext context) {saveData(); // 处理剩余的数据System.out.println("所有数据处理完成，共处理了 " + (batchNumber - 1) + " 批次数据。");}/*** 保存数据的方法。* 这里可以将数据保存到数据库或其他地方。*/private void saveData() {// 这里可以将数据保存到数据库或其他地方System.out.println("正在处理第 " + batchNumber + " 批次数据，共 " +list.size() + " 条记录。");for (User user : list) {System.out.println(user); // 打印数据，实际应用中可以保存到数据库}}/*** 处理读取过程中出现的异常。* @param exception 异常对象* @param context 上下文对象，包含读取状态等信息* @throws Exception 如果需要抛出异常*/@Overridepublic void onException(Exception exception, AnalysisContext context) throw Exception{System.err.println("读取数据时发生异常: " + exception.getMessage());// 可以在这里记录日志或进行其他错误处理}

package com.hz.test;
import com.alibaba.excel.EasyExcel;
import com.hz.listener.UserListener;
import org.junit.jupiter.api.Test;
public class ReadTest {
@Test
public void testPageReadExcel() {String filename = "D:\\excel\\users.xlsx";// 创建监听器UserListener listener = new UserListener();// 读取 Excel 文件EasyExcel.read(filename, User.class, listener).sheet().doRead();System.out.println("Excel文件读取完成！");}
}