SpringBoot分片上传、断点续传、大文件极速秒传功能

前言

文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到服务器，但在文件比较大的情况下，用普通的方式进行上传，这可不是一个好的办法，毕竟很少有人会忍受，当文件上传到一半中断后，继续上传却只能重头开始上传，这种让人不爽的体验。那有没有比较好的上传体验呢，答案有的，就是下边要介绍的几种上传方式

详细教程

秒传

1、什么是秒传

通俗的说，你把要上传的东西上传，服务器会先做MD5校验，如果服务器上有一样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让MD5改变，就是对文件本身做一下修改（改名字不行），例如一个文本文件，你多加几个字，MD5就变了，就不会秒传了.

2、本文实现的秒传核心逻辑

a、利用redis的set方法存放文件上传状态，其中key为文件上传的md5，value为是否上传完成的标志位，

b、当标志位true为上传已经完成，此时如果有相同文件上传，则进入秒传逻辑。如果标志位为false，则说明还没上传完成，此时需要在调用set的方法，保存块号文件记录的路径，其中key为上传文件md5加一个固定前缀，value为块号文件记录路径

分片上传

1.什么是分片上传

分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为Part）来进行分别上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。

2.分片上传的场景

1.大文件上传

2.网络环境环境不好，存在需要重传风险的场景

断点续传

1、什么是断点续传

断点续传是在下载或上传时，将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到网络故障，可以从已经上传或下载的部分开始继续上传或者下载未完成的部分，而没有必要从头开始上传或者下载。本文的断点续传主要是针对断点上传场景。

2、应用场景

断点续传可以看成是分片上传的一个衍生，因此可以使用分片上传的场景，都可以使用断点续传。

3、实现断点续传的核心逻辑

在分片上传的过程中，如果因为系统崩溃或者网络中断等异常因素导致上传中断，这时候客户端需要记录上传的进度。在之后支持再次上传时，可以继续从上次上传中断的地方进行继续上传。

为了避免客户端在上传之后的进度数据被删除而导致重新开始从头上传的问题，服务端也可以提供相应的接口便于客户端对已经上传的分片数据进行查询，从而使客户端知道已经上传的分片数据，从而从下一个分片数据开始继续上传。

4、实现流程步骤

a、方案一，常规步骤

  • 将需要上传的文件按照一定的分割规则，分割成相同大小的数据块；

  • 初始化一个分片上传任务，返回本次分片上传唯一标识；

  • 按照一定的策略（串行或并行）发送各个分片数据块；

  • 发送完成后，服务端根据判断数据上传是否完整，如果完整，则进行数据块合成得到原始文件。

b、方案二、本文实现的步骤

  • 前端（客户端）需要根据固定大小对文件进行分片，请求后端（服务端）时要带上分片序号和大小

  • 服务端创建conf文件用来记录分块位置，conf文件长度为总分片数，每上传一个分块即向conf文件中写入一个127，那么没上传的位置就是默认的0,已上传的就是Byte.MAX_VALUE 127（这步是实现断点续传和秒传的核心步骤）

  • 服务器按照请求数据中给的分片序号和每片分块大小（分片大小是固定且一样的）算出开始位置，与读取到的文件片段数据，写入文件。

5、分片上传/断点上传代码实现

a、前端采用百度提供的webuploader的插件，进行分片。因本文主要介绍服务端代码实现，webuploader如何进行分片，具体实现可以查看如下链接:

http://fex.baidu.com/webuploader/getting-started.html

b、后端用两种方式实现文件写入，一种是用RandomAccessFile，如果对RandomAccessFile不熟悉的朋友，可以查看如下链接:

https://blog.csdn.net/dimudan2015/article/details/81910690

另一种是使用MappedByteBuffer，对MappedByteBuffer不熟悉的朋友，可以查看如下链接进行了解:

https://www.jianshu.com/p/f90866dcbffc

后端进行写入操作的核心代码

a、RandomAccessFile实现方式

@UploadMode(mode = UploadModeEnum.RANDOM_ACCESS)  
@Slf4j  
public class RandomAccessUploadStrategy extends SliceUploadTemplate {  @Autowired  private FilePathUtil filePathUtil;  @Value("${upload.chunkSize}")  private long defaultChunkSize;  @Override  public boolean upload(FileUploadRequestDTO param) {  RandomAccessFile accessTmpFile = null;  try {  String uploadDirPath = filePathUtil.getPath(param);  File tmpFile = super.createTmpFile(param);  accessTmpFile = new RandomAccessFile(tmpFile, "rw");  //这个必须与前端设定的值一致  long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024  : param.getChunkSize();  long offset = chunkSize * param.getChunk();  //定位到该分片的偏移量  accessTmpFile.seek(offset);  //写入该分片数据  accessTmpFile.write(param.getFile().getBytes());  boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);  return isOk;  } catch (IOException e) {  log.error(e.getMessage(), e);  } finally {  FileUtil.close(accessTmpFile);  }  return false;  }  }  

b、MappedByteBuffer实现方式

@UploadMode(mode = UploadModeEnum.MAPPED_BYTEBUFFER)  
@Slf4j  
public class MappedByteBufferUploadStrategy extends SliceUploadTemplate {  @Autowired  private FilePathUtil filePathUtil;  @Value("${upload.chunkSize}")  private long defaultChunkSize;  @Override  public boolean upload(FileUploadRequestDTO param) {  RandomAccessFile tempRaf = null;  FileChannel fileChannel = null;  MappedByteBuffer mappedByteBuffer = null;  try {  String uploadDirPath = filePathUtil.getPath(param);  File tmpFile = super.createTmpFile(param);  tempRaf = new RandomAccessFile(tmpFile, "rw");  fileChannel = tempRaf.getChannel();  long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024  : param.getChunkSize();  //写入该分片数据  long offset = chunkSize * param.getChunk();  byte[] fileData = param.getFile().getBytes();  mappedByteBuffer = fileChannel  
.map(FileChannel.MapMode.READ_WRITE, offset, fileData.length);  mappedByteBuffer.put(fileData);  boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);  return isOk;  } catch (IOException e) {  log.error(e.getMessage(), e);  } finally {  FileUtil.freedMappedByteBuffer(mappedByteBuffer);  FileUtil.close(fileChannel);  FileUtil.close(tempRaf);  }  return false;  }  }  

c、文件操作核心模板类代码

@Slf4j  
public abstract class SliceUploadTemplate implements SliceUploadStrategy {  public abstract boolean upload(FileUploadRequestDTO param);  protected File createTmpFile(FileUploadRequestDTO param) {  FilePathUtil filePathUtil = SpringContextHolder.getBean(FilePathUtil.class);  param.setPath(FileUtil.withoutHeadAndTailDiagonal(param.getPath()));  String fileName = param.getFile().getOriginalFilename();  String uploadDirPath = filePathUtil.getPath(param);  String tempFileName = fileName + "_tmp";  File tmpDir = new File(uploadDirPath);  File tmpFile = new File(uploadDirPath, tempFileName);  if (!tmpDir.exists()) {  tmpDir.mkdirs();  }  return tmpFile;  }  @Override  public FileUploadDTO sliceUpload(FileUploadRequestDTO param) {  boolean isOk = this.upload(param);  if (isOk) {  File tmpFile = this.createTmpFile(param);  FileUploadDTO fileUploadDTO = this.saveAndFileUploadDTO(param.getFile().getOriginalFilename(), tmpFile);  return fileUploadDTO;  }  String md5 = FileMD5Util.getFileMD5(param.getFile());  Map<Integer, String> map = new HashMap<>();  map.put(param.getChunk(), md5);  return FileUploadDTO.builder().chunkMd5Info(map).build();  }  /**  * 检查并修改文件上传进度  */  public boolean checkAndSetUploadProgress(FileUploadRequestDTO param, String uploadDirPath) {  String fileName = param.getFile().getOriginalFilename();  File confFile = new File(uploadDirPath, fileName + ".conf");  byte isComplete = 0;  RandomAccessFile accessConfFile = null;  try {  accessConfFile = new RandomAccessFile(confFile, "rw");  //把该分段标记为 true 表示完成  System.out.println("set part " + param.getChunk() + " complete");  //创建conf文件文件长度为总分片数，每上传一个分块即向conf文件中写入一个127，那么没上传的位置就是默认0,已上传的就是Byte.MAX_VALUE 127  accessConfFile.setLength(param.getChunks());  accessConfFile.seek(param.getChunk());  accessConfFile.write(Byte.MAX_VALUE);  //completeList 检查是否全部完成,如果数组里是否全部都是127(全部分片都成功上传)  byte[] completeList = FileUtils.readFileToByteArray(confFile);  isComplete = Byte.MAX_VALUE;  for (int i = 0; i < completeList.length && isComplete == Byte.MAX_VALUE; i++) {  //与运算, 如果有部分没有完成则 isComplete 不是 Byte.MAX_VALUE  isComplete = (byte) (isComplete & completeList[i]);  System.out.println("check part " + i + " complete?:" + completeList[i]);  }  } catch (IOException e) {  log.error(e.getMessage(), e);  } finally {  FileUtil.close(accessConfFile);  }  boolean isOk = setUploadProgress2Redis(param, uploadDirPath, fileName, confFile, isComplete);  return isOk;  }  /**  * 把上传进度信息存进redis  */  private boolean setUploadProgress2Redis(FileUploadRequestDTO param, String uploadDirPath,  String fileName, File confFile, byte isComplete) {  RedisUtil redisUtil = SpringContextHolder.getBean(RedisUtil.class);  if (isComplete == Byte.MAX_VALUE) {  redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "true");  redisUtil.del(FileConstant.FILE_MD5_KEY + param.getMd5());  confFile.delete();  return true;  } else {  if (!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS, param.getMd5())) {  redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "false");  redisUtil.set(FileConstant.FILE_MD5_KEY + param.getMd5(),  uploadDirPath + FileConstant.FILE_SEPARATORCHAR + fileName + ".conf");  }  return false;  }  }  
/**  * 保存文件操作  */  public FileUploadDTO saveAndFileUploadDTO(String fileName, File tmpFile) {  FileUploadDTO fileUploadDTO = null;  try {  fileUploadDTO = renameFile(tmpFile, fileName);  if (fileUploadDTO.isUploadComplete()) {  System.out  .println("upload complete !!" + fileUploadDTO.isUploadComplete() + " name=" + fileName);  //TODO 保存文件信息到数据库  }  } catch (Exception e) {  log.error(e.getMessage(), e);  } finally {  }  return fileUploadDTO;  }  
/**  * 文件重命名  *  * @param toBeRenamed 将要修改名字的文件  * @param toFileNewName 新的名字  */  private FileUploadDTO renameFile(File toBeRenamed, String toFileNewName) {  //检查要重命名的文件是否存在，是否是文件  FileUploadDTO fileUploadDTO = new FileUploadDTO();  if (!toBeRenamed.exists() || toBeRenamed.isDirectory()) {  log.info("File does not exist: {}", toBeRenamed.getName());  fileUploadDTO.setUploadComplete(false);  return fileUploadDTO;  }  String ext = FileUtil.getExtension(toFileNewName);  String p = toBeRenamed.getParent();  String filePath = p + FileConstant.FILE_SEPARATORCHAR + toFileNewName;  File newFile = new File(filePath);  //修改文件名  boolean uploadFlag = toBeRenamed.renameTo(newFile);  fileUploadDTO.setMtime(DateUtil.getCurrentTimeStamp());  fileUploadDTO.setUploadComplete(uploadFlag);  fileUploadDTO.setPath(filePath);  fileUploadDTO.setSize(newFile.length());  fileUploadDTO.setFileExt(ext);  fileUploadDTO.setFileId(toFileNewName);  return fileUploadDTO;  }  
}  

总结

在实现分片上传的过程，需要前端和后端配合，比如前后端的上传块号的文件大小，前后端必须得要一致，否则上传就会有问题。其次文件相关操作正常都是要搭建一个文件服务器的，比如使用fastdfs、hdfs等。

本示例代码在电脑配置为4核内存8G情况下，上传24G大小的文件，上传时间需要30多分钟，主要时间耗费在前端的md5值计算，后端写入的速度还是比较快。如果项目组觉得自建文件服务器太花费时间，且项目的需求仅仅只是上传下载，那么推荐使用阿里的oss服务器，其介绍可以查看官网:

https://help.aliyun.com/product/31815.html

阿里的oss它本质是一个对象存储服务器，而非文件服务器，因此如果有涉及到大量删除或者修改文件的需求，oss可能就不是一个好的选择。

文末提供一个oss表单上传的链接demo，通过oss表单上传，可以直接从前端把文件上传到oss服务器，把上传的压力都推给oss服务器:

https://www.cnblogs.com/ossteam/p/4942227.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/641751.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

华为机试真题实战应用【算法代码篇】-图谱新词挖掘1（附python、C++和JAVA代码实现）

华为机试真题实战应用【算法代码篇】-图谱新词挖掘1（附python、C++和JAVA代码实现）

目录 题目描述 代码实现 Java python C++ 代码2 题目描述 小华负责公司知识图谱产品，现在要通过新词挖掘完善知识图谱新词挖掘: 给出一个待挖掘问题内容字符串Content和一人词的字符串word，找到content中所有word的新词。新词: 使用词word的字符排列形成的字符串。 请帮…
阅读更多...
Hive 数仓及数仓设计方案

Hive 数仓及数仓设计方案

数仓(Data Warehouse) 数据仓库存在的意义在于对企业的所有数据进行汇总&#xff0c;为企业各个部门提供一个统一、规范的出口。做数仓就是做方案&#xff0c;是用数据治理企业的方案。 数据仓库的特点 面向主题集成 公司中不同的部门都会去数据仓库中拿数据&#xff0c;把独…
阅读更多...
框架概述和MyBatis环境搭建

框架概述和MyBatis环境搭建

学习视频&#xff1a;1001 框架概述_哔哩哔哩_bilibili 目录 框架概述 1.1为什么要学 1.2框架的优点 1.3 当前主流框架 Spring框架 Spring MVC框架 MyBatis框架 ​编辑 Spring Boot框架 Spring Cloud框架 1.4 传统JDBC的劣势 MyBatis 2.1 MyBatis概述 ORM框架工作原…
阅读更多...
分布式日志

分布式日志

1 日志管理 1.1 日志管理方案 服务器数量较少时 直接登录到目标服务器捞日志查看 → 通过 rsyslog 或shell/python 等脚本实现日志搜集并集中保存到统一的日志服务器 服务器数量较多时 ELK 大型的日志系统&#xff0c;实现日志收集、日志存储、日志检索和分析 容器环境 …
阅读更多...
编程语言MoonBit新增矩阵函数的语法糖

编程语言MoonBit新增矩阵函数的语法糖

MoonBit更新 1. 新增矩阵函数的语法糖 新增矩阵函数的语法糖&#xff0c;用于方便地定义局部函数和具有模式匹配的匿名函数&#xff1a; fn init {fn boolean_or { // 带有模式匹配的局部函数true, _ > true_, true > true_, _ > false}fn apply(f, x) {f(x)}le…
阅读更多...
【分布式技术】注册中心zookeeper

【分布式技术】注册中心zookeeper

目录 一、ZooKeeper是什么 二、ZooKeeper的工作机制 三、ZooKeeper特点 四、ZooKeeper数据结构 五、ZooKeeper应用场景 ●统一命名服务 ●统一配置管理 ●统一集群管理 ●服务器动态上下线 ●软负载均衡 六、ZooKeeper的选举机制 七、实操部署ZooKeeper集群 步骤一…
阅读更多...
compose部署tomcat

compose部署tomcat

1.部署tomcat 1.1.下载相关镜像tomcat8.5.20 $ docker pull tomcat:8.5.20 1.2 在/data目录下创建tomcat/webapps目录 mkdir -p /data/tomcat/webapps 注意&#xff1a;这里是准备将宿主机的/data/tomcat/webapps映射到容器的 /usr/…
阅读更多...
LC 2765. 最长交替子数组

LC 2765. 最长交替子数组

2765. 最长交替子数组 难度: 简单 题目大意: 给你一个下标从 0 开始的整数数组 nums 。如果 nums 中长度为 m 的子数组 s 满足以下条件&#xff0c;我们称它是一个 交替子数组 &#xff1a; m 大于 1 。s1 s0 1 。下标从 0 开始的子数组 s 与数组 [s0, s1, s0, s1,...,s(…
阅读更多...
HarmonyOS鸿蒙学习笔记（22）@Builder实战

HarmonyOS鸿蒙学习笔记（22）@Builder实战

Builder标签是一种更轻量的UI元素复用机制&#xff0c;下面通过一个简单的例子来具体说明&#xff1a; 比如如下布局效果&#xff1a;上面是一个轮播的Swiper,下面是一个Grid 布局代码如下&#xff1a; build() {Navigation() {Scroll() {Column({ space: CommonConstants.CO…
阅读更多...
测试老司机聊聊测试设计都包含什么？

测试老司机聊聊测试设计都包含什么？

一、数据组合测试设计 数据组合测试设计&#xff08;Combinatorial Test Design&#xff0c;CTD&#xff09;是一种优化测试用例的方法&#xff0c;它通过系统地组合不同的测试数据输入&#xff0c;以确保全面覆盖各种可能的测试情况。这种方法主要应用于软件测试领域&#xff…
阅读更多...
性能优化-HVX 开发环境介绍

性能优化-HVX 开发环境介绍

「发表于知乎专栏《移动端算法优化》」 本篇以 HVX 的开发环境配置以及应用实例编译测试为主进行讲述。 &#x1f3ac;个人简介&#xff1a;一个全栈工程师的升级之路&#xff01; &#x1f4cb;个人专栏&#xff1a;高性能&#xff08;HPC&#xff09;开发基础教程 &#x1f3…
阅读更多...
scanf解决遇到空格停止问题

scanf解决遇到空格停止问题

scanf解决遇到空格停止问题 gets修改scanf的停止符 我们经常输入字符串的时候&#xff0c;遇到空格&#xff0c;scanf就会停止&#xff1a; 比如这时候我想输入一个句子&#xff1a;“My Love”&#xff1a; char* s (char*)malloc(sizeof(char)*100);scanf("%s", s…
阅读更多...
Python数据分析：基础

Python数据分析：基础

数据分析是使用统计和计算机科学技术来解决现实世界问题的过程。Python是一种流行的编程语言&#xff0c;也是数据分析的常用工具之一。在Python中&#xff0c;有许多库和工具可用于数据分析&#xff0c;比如NumPy、Pandas、Matplotlib等。 NumPy是Python中用于科学计算的一个…
阅读更多...
python 32位图转换8位图并压缩

python 32位图转换8位图并压缩

安装 python -m pip install opencv-python 脚本 from PIL import Image import numpy as np import cv2 oldName "Down32.png" tempName "Down8.png" newName "Down.png" img Image.open(oldName).convert(P) print(img.getbands()) #…
阅读更多...
摄像头电机马达驱动芯片LV8548/LV8549/ONSEMI替代料GC8548

摄像头电机马达驱动芯片LV8548/LV8549/ONSEMI替代料GC8548

摄像头电机马达驱动芯片GC8548&#xff0c;兼容替代 ON的LV8548 无需更改外围 . 下图为其参数分析&#xff1a; GC8548 是一款双通道 12V 直流电机驱动芯片&#xff0c;为摄像机、消费类产品、玩具和其他低压或者电池供电的运动控制类应用提供了集成的电机驱动解决方案。芯片…
阅读更多...
hpa自动伸缩

hpa自动伸缩

1、定义&#xff1a;hpa全称horizontal pod autoscaling&#xff08;pod的水平自动伸缩&#xff09;&#xff0c;这是k8s自带的模块。pod占用CPU的比率到达一定阀值会触发伸缩机制&#xff08;根据CPU使用率自动伸缩&#xff09; replication controller副本控制器&#xff0c…
阅读更多...
带头 + 双向 + 循环链表增删查改实现

带头 + 双向 + 循环链表增删查改实现

目录 源码&#xff1a; List.c文件&#xff1a; List.h文件&#xff1a; 简单的测试&#xff1a; 很简单&#xff0c;没什么好说的&#xff0c;直接上源码。 源码&#xff1a; List.c文件&#xff1a; #include"DLList.h"ListNode* creadNode(LTDataType x) {L…
阅读更多...
力扣！30天60道（第2天）

力扣！30天60道（第2天）

第1题(1.22) &#xff1a;两数之和 解法一&#xff1a;暴力破解 #include <iostream> #include <vector> #include <map> using namespace std;class Solution { public:vector<int> twoSum1(vector<int>& nums, int target) {for (int i …
阅读更多...
Java8 安装

Java8 安装

> 新版任你发&#xff0c;我用JAVA8 1. 下载jdk包 2. 解压到自己要的位置 3. 配置环境变量 export JAVA_HOME/usr/lib/jvm/jdk1.8.0_202/ export JRE_HOME${JAVA_HOME}/jre export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH${JAVA_HOME}/bin:$PATH
阅读更多...
GraphicsMagick 的 OpenCL 开发记录（十八）

GraphicsMagick 的 OpenCL 开发记录（十八）

文章目录 gm benchmark性能比较 <2022-04-07 Thu> gm benchmark性能比较 仅运行一次缩放图片的话gm-ocl&#xff08;启用了硬件加速&#xff09;的速度远小于gm&#xff08;没有硬件加速&#xff0c;下同&#xff09;&#xff0c;而迭代100次的话&#xff0c;gm-ocl速度…
阅读更多...
最新文章

Copyright @ 2022~2023