Spring Boot + EasyExcel + SqlServer 进行批量处理数据

前言

在日常开发和工作中,我们可能要根据用户上传的文件做一系列的处理,本篇文章就以Excel表格文件为例,模拟用户上传Excel文件,讲述后端如何高效的进行数据的处理。

一.引入 EasyExcel  依赖

        <!-- https://mvnrepository.com/artifact/com.alibaba/easyexcel --><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.2</version></dependency>

二.在接口中编写代码

(一).使用什么参数接收?

由于用户上传的是一个Excel文件,也就是说前端发来的是一个Excel表格的文件,那么我们后端就需要使用  MultipartFile file  来进行接收

 @PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {//具体代码......}

(二).如何存储到本地目录中(最后说为什么存储到本地)

既然前端发来了一个Excel文件,后端需要对其进行重命名还有大量的数据处理,那么如何存储到本地是一个问题。我们在三层架构的基础上,这个存储到本地的工作一般放在 Service 层进行处理。

Controller层的代码

下面的 uploadPath(也就是你要存储到本地的目录) 是自己在 yml文件中定义好的,然后进行使用,截图如下:

@PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {//把前端发来的文件数据,传到本机指定的 uploadPath 目录之下String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);//其他代码....}

注意这里 pathAndFileName 接收的是一个本地路径,后续需要根据这个路径找到指定文件

Service 层的代码

    @Overridepublic String uploadFile(MultipartFile file, String uploadPath) {if(file.isEmpty()){return "上传文件为空";}try {String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));String newFilename = generateFilename() + fileExtension;File targetFile = new File(uploadPath + File.separator + newFilename);file.transferTo(targetFile);return uploadPath + "\\" + newFilename;} catch (Exception e) {return "文件上传失败: " +  e.getMessage();}}private String generateFilename() {// 根据你的需求生成新的文件名,例如使用时间戳或随机字符串等,这里使用时间戳return String.valueOf("更新文件名.." + System.currentTimeMillis());}
代码解读:我们假设前端传来了一个 hello.xlsx 文件
  1. String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());这行代码会将 "hello.xlsx " 赋值给 originalFilename 变量。

  2. String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));

    这行代码会从 "hello.txt" 中提取出文件扩展名 ".txt",并将其赋值给 fileExtension 变量。
  3. String newFilename = generateFilename() + fileExtension;

    这行代码会调用 generateFilename() 方法生成一个新的唯一文件名,例如 "abc123"。
  4. 将生成的文件名 "abc123.xlsx" 与文件扩展名 ".txt" 拼接,赋值给 newFilename 变量。
  5. File targetFile = new File(uploadPath + File.separator + newFilename);

    假设 uploadPath 是 "/path/to/uploads/"。这行代码会创建一个 File 对象,代表文件的保存路径和文件名 "/path/to/uploads/abc123.xlsx"。那么这个就会创建出文件了(但是没有内容)
  6. file.transferTo(targetFile);

    这行代码会将用户上传的 "hello.xlsx" 文件的内容,写入到 "/path/to/uploads/abc123.xlsx" 文件中。

通过这样的处理,原本名为 "hello.xlsx" 的文件会被保存为 "abc123.xlsx",并且保存在 "/path/to/uploads/" 目录下。这样可以避免文件名与现有文件发生冲突,确保文件上传的安全性。

注意这里返回给 Controller 层的是一个本地目录,是根据目录来找到指定的文件!

三.假设需求

现在假设我们本地指定的目录下面已经有用户上传的文件了,那么我们要对这个文件进行一系列的处理。 现在假设我们的需求是根据Excel文件中用户的 工号,更新用户的 Flag 标签(0变为1)

那么应该如何做呢?

继续编写代码

Controller层

    @PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {Map<String,Object> response = new HashMap<>();response.put("code",0);response.put("data",":");//把前端发来的文件数据,传到本机指定的 uploadPath 目录之下String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);if(pathAndFileName.equals("上传文件为空") || pathAndFileName.equals("文件上传失败")) {response.put("msg",pathAndFileName);return response;}String feedBackMsg = jdCloudService.enableFlagUpdate(pathAndFileName);response.put("msg",feedBackMsg);return response;}

这里主要是 feedBackMsg,这个调用的 Service 层的代码是处理表格数据的主要内容,我们来看

Service层

    @Overridepublic String enableFlagUpdate(String filename) {//获取 PersonSynData 类的 Class 对象。Class<PersonSynData> head = PersonSynData.class;List<PersonSynData> updateList = new ArrayList<>();ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {@Overridepublic void invoke(PersonSynData personSynData, AnalysisContext analysisContext) {updateList.add(personSynData);}@Overridepublic void doAfterAllAnalysed(AnalysisContext analysisContext) {System.out.println("Excel解析完成......");}}).build();//创建 sheet 对象,并且读取Excel的第一个sheet(下表从0开始),也可以根据 sheet 名称获取ReadSheet readSheet = EasyExcel.readSheet(0).build();//读取 sheet 表格数据,参数是可变参数,也可以读取多个sheet//这个操作会读取 excel 表格的数据excelReader.read(readSheet);//需要自己关闭流操作,在读取文件的时候会创建临时文件,如果不关闭的话,会损耗磁盘excelReader.finish();}

代码解读:

1.首先获取到实体类的 class 对象,后续需要进行使用

2.updateList 是要存储 Excel 表格中的每一行,每一行都是一个 实体类对象

3. ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {...});是Alibaba提供的一个工厂方法,用于创建一个 ExcelReader 对象。
filename 是要解析的 Excel 文件的路径。
head 是前面获取的 PersonSynData 类的 Class 对象,用于告诉 EasyExcel 应该如何解析 Excel 数据。
new AnalysisEventListener<PersonSynData>() {...} 是一个匿名内部类,实现了 AnalysisEventListener 接口。这个监听器用于处理 Excel 数据的解析过程

4. invoke 是必须重写的方法

  • 每解析到一行 Excel 数据,就会调用这个方法,并将解析后的 PersonSynData 实例作为参数传递进来。
  • 在这个方法中,我们将解析出的 PersonSynData 实例添加到 updateList 中。

5. doAfterAllAnalysed也是必须重写的方法

  • 这个方法是 AnalysisEventListener 接口的 doAfterAllAnalysed 方法的实现。
  • 当 Excel 文件的所有数据都解析完成后,就会调用这个方法。
  • 在这个方法中,我们打印了一条消息,表示 Excel 解析完成。

6.当代码执行到  excelReader.read(readSheet); 此时 updateList 中就有我们需要的数据了

注意!更新操作在下一篇博客: http://t.csdnimg.cn/RUZvM

四.为什么要缓存到本地?

缓存到本地和在内存中进行处理是两种不同的解决方案

在处理前端传来的Excel文件时,后端是否需要将其存储到本地再进行解析,确实存在几种不同的处理方式。

  1. 存储到本地后再解析:这种方式的优点是可以避免在内存中一次性加载整个Excel文件,从而减轻内存压力。同时,如果需要对文件进行多次处理,存储到本地后可以直接读取而无需重新上传,提高效率。缺点是需要占用服务器硬盘空间,并且需要额外的IO操作。

  2. 直接在内存中解析:这种方式可以省略存储到本地的步骤,直接从前端传来的数据流中进行解析。优点是减少了IO操作,提高了处理速度。缺点是需要一次性加载整个Excel文件到内存中,如果文件很大可能会造成内存溢出的风险。

综合来看,两种方式各有优缺点。具体采用哪种方式,需要根据实际业务需求、文件大小、服务器资源等因素进行权衡。如果Excel文件较小,且只需要处理一次,直接在内存中解析可能是更好的选择。而对于较大的Excel文件,或需要多次处理的场景,将其存储到本地可能会更合适。总之,在设计后端处理逻辑时,需要充分考虑各种因素,选择最佳的解决方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28228.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VMware Ubuntu 虚拟机网卡消失及解决办法

VMware Ubuntu 虚拟机网卡消失 描述原因查找解决方法 描述 在正常使用过程中重启后发现 VMware Ubuntu 虚拟机中的网卡消失了&#xff0c;使用 ifconfig 查看只能看到本地回环&#xff1a; 原因查找 使用如下命令查看是否和我这边遇到的问题一致的原因。 sudo lshw -c netwo…

USB转I2C转SPI芯片CH341与CH347比较

1. 芯片中文资料&#xff1a; USB转I2C转SPI芯片CH341 高速USB转接芯片CH347转9M双串口转I2C转SPI转JTAG转SWD USB2.0高速转接芯片CH347应用开发手册 2. CH341与CH347比较&#xff1a; 类别CH341CH347备注串口速度2M9MCH347的串口速度更快设置CH341的I2C或SPI不能与串口同…

【Netty】ByteBuffer原理与使用

Buffer则用来缓冲读写数据&#xff0c;常见的buffer有&#xff1a; ByteBuffer MappedByBuffer DirectByteBuffer HeapByteBuffer hortBuffer IntBuffer LongBuffer FloatBuffer DoubleBuffer CharBuffer 有一个普通文本文件data.txt,内容为&#xff1a; 1234567890a…

决策树概念

图例 概念 决策树基本上就是对经验的总结 决策树的构成&#xff0c;分为两个阶段。构造和剪枝 构造 概念 构造就是生成一颗完整的决策树。构造的过程就是选择什么属性作为节点的过程 构造过程&#xff0c;会存在3种节点 根节点&#xff1a;就是树的最顶端&#xff0c;最…

WPF/C#:异常处理

什么是异常&#xff1f; 在C#中&#xff0c;异常是在程序执行过程中发生的特殊情况&#xff0c;例如尝试除以零、访问不存在的文件、网络连接中断等。这些情况会中断程序的正常流程。 当C#程序中发生这种特殊情况时&#xff0c;会创建一个异常对象并将其抛出。这个异常对象包…

华为云CodeArts API:API管理一体化平台 5月新特性上线啦!

CodeArts API是华为云API全生命周期管理一体化解决方案平台&#xff0c;支持开发者高效实现API设计、API开发、API测试、API托管、API运维、API变现的一站式体验。 通过以API契约为锚点&#xff0c;CodeArts API保证API各阶段数据高度一致&#xff0c;为开发者提供友好易用的A…

FreeRTOS队列(queue)

队列(queue)可以用于"任务到任务"、 "任务到中断"、 "中断到任务"直接传输信息。 1、队列的特性 1、1常规操作 队列的简化操如下图所示&#xff0c;从此图可知&#xff1a; 队列中可以包含若干数据&#xff1a;队列中有若干项&#xff0c;这…

【C++】实现学生管理系统(完整版)

&#x1f495;&#x1f495;&#x1f495;大家好&#xff0c;这是作业侠系列之C实现学生管理系统&#xff0c;还是那句话&#xff0c;大家不想cv或者cv了跑不起来,三连后都可以来找我要源码&#xff0c;私信或评论留下你的邮箱即可。有任何问题有可以私聊我&#xff0c;大家觉得…

YOLOv10涨点改进SPPF创新结构,重新设计全局平均池化层和全局最大池化层,增强全局视角信息和不同尺度大小的特征

本文改进:SPPF_improve利用全局平均池化层和全局最大池化层,加入一些全局背景信息和边缘信息,从而获取全局视角信息并减轻不同尺度大小所带来的影响,强烈推荐,适合直接使用,paper创新级。 目录 1,YOLOv10介绍 1.1 C2fUIB介绍 1.2 PSA介绍 1.3 SCDown 2.SPP &SP…

TSP:人工原生动物优化器(APO)求解旅行商问题TSP(可以更改数据),MATLAB代码

一、旅行商问题介绍 二、人工原生动物优化算法求解TSP 2.1算法介绍 人工原生动物优化器&#xff08;Artificial Protozoa Optimizer &#xff0c;APO&#xff09;由Xiaopeng Wang等人于2024年提出&#xff0c;其灵感来自自然界中的原生动物。APO 模拟了原生动物的觅食、休眠和…

Python合并文件(dat、mdf、mf4)

天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#xff0c;君子以厚德载物。 每个人都有惰性&#xff0c;但不断学习是好好生活的根本&#xff0c;共勉&#xff01; 文章均为学习整理笔记&#xff0c;分享记录为主&#xff0c;如有错误请指正&#xff0c;共同学习进步。…

【three.js】设置canvas画布背景透明

通过Three.js渲染一个模型的时候&#xff0c;不希望canvas画布有背景颜色&#xff0c;也就是canvas画布完全透明&#xff0c;可以透过canvas画布看到画布后面叠加的HTML元素图文&#xff0c;呈现出来一种三维模型悬浮在网页上面的效果。 比如我们现在的模型背景是黑色的&#…

spring框架(SSM)

Spring Framework系统架构 Spring框架是一个开源的企业级Java应用程序框架&#xff0c;它为开发Java应用程序提供了一个全方位的解决方案。Spring的核心优势在于它的分层架构&#xff0c;这使得开发者可以灵活选择使用哪些模块而无需引入不需要的依赖。下面是Spring框架的一些关…

【每天学会一个渗透测试工具】AWVS安装及使用指南

&#x1f31d;博客主页&#xff1a;泥菩萨 &#x1f496;专栏&#xff1a;Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 ✨AWVS介绍 是应用漏洞扫描工具 &#x1f4a6;使用docker安装 docker pull dockermi3aka/awvs启动镜像 docker run -dit …

数据采集项目1-用户行为数据同步

环境准备 linux配置、克隆103和104、编写集群分发脚本、ssh无密码登录配置、jdk安装、数据模拟集群日志数据输出脚本、xcall脚本、安装hadoop、zk安装、kafka安装、flume安装、mysql安装、maxwell安装、datax安装、hive安装 用户行为数据同步-总的数据流程图 第一层flume 数据…

JavaScript算法实现dfs查找省市区路径

需求 存在如下数组&#xff0c;实现一个算法通过输入区名&#xff0c;返回省->市->区格式的路径&#xff0c;例如输入西湖区&#xff0c;返回浙江省->杭州市->西湖区。 // 定义省市区的嵌套数组 const data [{name: "浙江省",children: [{name: "…

【百度智能体】零代码创建职场高情商话术助手智能体

一、前言 作为一个程序猿&#xff0c;工科男思维&#xff0c;走上职场后&#xff0c;总会觉得自己不会处理人际关系&#xff0c;容易背锅说错话&#xff0c;这时候如果有个助手能够时时刻刻提醒自己该如何说话如何做事情就好了。 而我们现在可以通过百度文心智能体平台构建各…

Java基础——网络编程(一)

初识网络编程 网络编程&#xff1a;在网络通信协议下&#xff0c;不同计算机上运行的程序&#xff0c;进行的数据传输 应用场景&#xff1a;即时通信、网游对战、金融证券、国际贸易、邮件…… BS架构的优缺点&#xff1a; 1、不需要开发客户端&#xff0c;只需要页面服务端 2、…

计算机网络知识点全面总结回顾

物理层 OSI模型&#xff1a;数据链路层&#xff08;流量控制&#xff09;&#xff0c;从传输层开始端到端&#xff1b;每一层的元素都称为实体&#xff0c;同一层的是对等实体&#xff1b;三个重要概念&#xff1a;服务&#xff08;下层为上层提供调用&#xff09;&#xff0c…

Python程序设计 2021秋计算和人工智能期中商科2

2021秋计算和人工智能期中商科2 第1关&#xff1a;矩形面积的计算 编写一个程序根据对角线长度和夹角度数计算矩形面积。 矩形面积如下所示 输入对角线长度和夹角度数&#xff0c;计算并显示矩形面积 要求结果显示两位小数 deval(input("对角线长度")) aeval(input(…