Spring Boot + MinIO 实现文件切片极速上传技术

文章目录

    • 1. 引言
    • 2. 文件切片上传简介
    • 3. 技术选型
      • 3.1 Spring Boot
      • 3.2 MinIO
    • 4. 搭建Spring Boot项目
    • 5. 集成MinIO
      • 5.1 配置MinIO连接信息
      • 5.2 MinIO配置类
    • 6. 文件切片上传实现
      • 6.1 控制器层
      • 6.2 服务层
      • 6.3 文件切片上传逻辑
    • 7. 文件合并逻辑
    • 8. 页面展示
    • 9. 性能优化与拓展
      • 9.1 性能优化
      • 9.2 拓展功能
    • 10. 总结

在这里插入图片描述

🎉欢迎来到SpringBoot框架学习专栏~


  • ☆* o(≧▽≦)o *☆嗨~我是IT·陈寒🍹
  • ✨博客主页:IT·陈寒的博客
  • 🎈该系列文章专栏:SpringBoot
  • 📜其他专栏:Java学习路线 Java面试技巧 Java实战项目 AIGC人工智能 数据结构学习
  • 🍹文章作者技术和水平有限,如果文中出现错误,希望大家能指正🙏
  • 📜 欢迎大家关注! ❤️

1. 引言

在现代Web应用中,文件上传是一个常见的需求,尤其是对于大文件的上传,如视频、音频或大型文档。为了提高用户体验和系统性能,文件切片上传技术逐渐成为热门选择。本文将介绍如何使用Spring Boot和MinIO实现文件切片极速上传技术,通过将大文件分割成小片段并并行上传,显著提高文件上传速度。在这里插入图片描述

2. 文件切片上传简介

文件切片上传是指将大文件分割成小的片段,然后通过多个请求并行上传这些片段,最终在服务器端将这些片段合并还原为完整的文件。这种方式有助于规避一些上传过程中的问题,如网络不稳定、上传中断等,并能提高上传速度。

3. 技术选型

3.1 Spring Boot

Spring Boot是一个基于Spring框架的轻量级、快速开发的框架,提供了许多开箱即用的功能,适合构建现代化的Java应用。

3.2 MinIO

MinIO是一款开源的对象存储服务器,与Amazon S3兼容。它提供了高性能、高可用性的存储服务,适用于大规模文件存储。

在这里插入图片描述

4. 搭建Spring Boot项目

首先,我们需要搭建一个基本的Spring Boot项目。可以使用Spring Initializer(https://start.spring.io/)生成项目骨架,选择相应的依赖,如Web和Thymeleaf。

<!-- pom.xml --><dependencies><!-- Spring Boot Web --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!-- Thymeleaf模板引擎 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency><!-- MinIO Java客户端 --><dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.3.3</version></dependency>
</dependencies>

5. 集成MinIO

5.1 配置MinIO连接信息

application.properties中配置MinIO的连接信息,包括服务地址、Access Key和Secret Key。

# application.properties# MinIO配置
minio.endpoint=http://localhost:9000
minio.accessKey=minioadmin
minio.secretKey=minioadmin
minio.bucketName=mybucket

5.2 MinIO配置类

创建MinIO配置类,用于初始化MinIO客户端。

import io.minio.MinioClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class MinioConfig {@Value("${minio.endpoint}")private String endpoint;@Value("${minio.accessKey}")private String accessKey;@Value("${minio.secretKey}")private String secretKey;@Beanpublic MinioClient minioClient() {return MinioClient.builder().endpoint(endpoint).credentials(accessKey, secretKey).build();}
}

6. 文件切片上传实现

6.1 控制器层

创建一个文件上传的控制器,负责处理文件切片上传的请求。

import io.minio.MinioClient;
import io.minio.errors.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;@RestController
@RequestMapping("/file")
public class FileController {@Autowiredprivate MinioClient minioClient;@Value("${minio.bucketName}")private String bucketName;@PostMapping("/upload")public String upload(@RequestParam("file") MultipartFile file) {// 实现文件切片上传逻辑// ...return "Upload success!";}
}

6.2 服务层

创建文件上传服务类,处理文件切片的具体上传逻辑。

import io.minio.MinioClient;
import io.minio.errors.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;@Service
public class FileService {@Autowiredprivate MinioClient minioClient;@Value("${minio.bucketName}")private String bucketName;public void uploadFile(String objectName, MultipartFile file) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, NoResponseException, ErrorResponseException, InternalException, InvalidBucketNameException, XmlParserException, InvalidArgumentException {// 实现文件切片上传逻辑// ...}
}

6.3 文件切片上传逻辑

在服务层的uploadFile方法中实现文件切片上传逻辑。这里使用MinIO的putObject方法将文件切片上传至MinIO服务器。

import io.minio.PutObjectArgs;
import io.minio.errors.*;import java.io.IOException;
import java.io.InputStream;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class FileService {// 省略其他代码...public void uploadFile(String objectName, MultipartFile file) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, NoResponseException, ErrorResponseException, InternalException, InvalidBucketNameException, XmlParserException, InvalidArgumentException {InputStream inputStream = file.getInputStream();long size = file.getSize();long chunkSize = 5 * 1024 * 1024; // 每片大小5MBlong offset = 0;while (offset < size) {long currentChunkSize = Math.min(chunkSize, size - offset);byte[] chunk = new byte[(int) currentChunkSize];inputStream.read(chunk);minioClient.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(inputStream, currentChunkSize, -1).build());offset += currentChunkSize;}inputStream.close();}
}

7. 文件合并逻辑

在文件上传完成后,需要将所有的切片文件合并还原为完整的文件。在FileController中增加一个合并文件的接口。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;@RestController
@RequestMapping("/file")
public class FileController {// 省略其他代码...@Autowiredprivate FileService fileService;@PostMapping("/merge")public String merge(@RequestParam String objectName) {try {fileService.mergeFile(objectName);return "Merge success!";} catch (Exception e) {e.printStackTrace();return "Merge failed!";}}
}

FileService中增加合并文件的方法。

import io.minio.CopyObjectArgs;
import io.minio.GetObjectArgs;
import io.minio.PutObjectArgs;
import io.minio.errors.*;import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;public class FileService {// 省略其他代码...public void mergeFile(String objectName) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, NoResponseException, ErrorResponseException, InternalException, InvalidBucketNameException, XmlParserException, InvalidArgumentException {Iterable<io.minio.messages.Item> parts = minioClient.listObjects(bucketName, objectName);// 通过CopyObject将所有分片合并成一个对象for (io.minio.messages.Item part : parts) {String partName = part.objectName();minioClient.copyObject(CopyObjectArgs.builder().source(bucketName, partName).destination(bucketName, objectName).build());}// 删除所有分片for (io.minio.messages.Item part : parts) {String partName = part.objectName();minioClient.removeObject(bucketName, partName);}}
}

8. 页面展示

在前端页面,使用Thymeleaf模板引擎展示上传按钮和上传进度。

<!DOCTYPE html>
<html lang="en" xmlns:th="http://www.thymeleaf.org">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>File Upload</title>
</head>
<body><form id="uploadForm" action="/file/upload" method="post" enctype="multipart/form-data"><input type="file" name="file" id="file" /><input type="submit" value="Upload" /></form><div id="progress" style="display: none;"><progress id="progressBar" max="100" value="0"></progress><span id="percentage">0%</span></div><script>document.getElementById('uploadForm').addEventListener('submit', function (event) {event.preventDefault();var fileInput = document.getElementById('file');var file = fileInput.files[0];if (!file) {alert('Please choose a file.');return;}var formData = new FormData();formData.append('file', file);var xhr = new XMLHttpRequest();xhr.open('POST', '/file/upload', true);xhr.upload.onprogress = function (e) {if (e.lengthComputable) {var percentage = Math.round((e.loaded / e.total) * 100);document.getElementById('progressBar').value = percentage;document.getElementById('percentage').innerText = percentage + '%';}};xhr.onload = function () {document.getElementById('progress').style.display = 'none';alert('Upload success!');};xhr.onerror = function () {alert('Upload failed!');};xhr.send(formData);document.getElementById('progress').style.display = 'block';});</script>
</body>
</html>

9. 性能优化与拓展

9.1 性能优化

  • 并发上传: 利用多线程或异步任务,将文件切片并行上传,提高上传效率。
  • 分布式部署: 将文件存储和应用部署在不同的服务器,减轻单个服务器的负担,提高整体性能。

9.2 拓展功能

  • 断点续传: 支持文件上传中断后的断点续传功能,提高用户体验。
  • 权限控制: 使用MinIO的访问策略进行权限控制,确保文件上传安全性。

10. 总结

通过本文,我们深入了解了如何使用Spring Boot和MinIO实现文件切片上传技术。通过文件切片上传,我们能够提高文件上传的速度,优化用户体验。在实际应用中,我们可以根据需求进行性能优化和功能拓展,使得文件上传系统更加强大和可靠。希望本文对您理解文件切片上传技术以及Spring Boot和MinIO的使用有所帮助。


🧸结尾 ❤️ 感谢您的支持和鼓励! 😊🙏
📜您可能感兴趣的内容:

  • 【Java面试技巧】Java面试八股文 - 掌握面试必备知识(目录篇)
  • 【Java学习路线】2023年完整版Java学习路线图
  • 【AIGC人工智能】Chat GPT是什么,初学者怎么使用Chat GPT,需要注意些什么
  • 【Java实战项目】SpringBoot+SSM实战:打造高效便捷的企业级Java外卖订购系统
  • 【数据结构学习】从零起步:学习数据结构的完整路径

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/233337.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

qt源码链接C++automic

qaction.cpp source code [qtbase/src/widgets/kernel/qaction.cpp] - Codebrowser C原子变量atomic详解 - 知乎 (zhihu.com)

[C++ 从入门到精通] 15.友元函数、友元类、友元成员函数

&#x1f4e2;博客主页&#xff1a;https://loewen.blog.csdn.net&#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01;&#x1f4e2;本文由 丶布布原创&#xff0c;首发于 CSDN&#xff0c;转载注明出处&#x1f649;&#x1f4e2;现…

统计分析绘图软件 GraphPad Prism 10 mac功能介绍

GraphPad Prism mac是一款专业的统计和绘图软件&#xff0c;主要用于生物医学研究、实验设计和数据分析。 GraphPad Prism mac功能和特点 数据导入和整理&#xff1a;GraphPad Prism 可以导入各种数据格式&#xff0c;并提供直观的界面用于整理、编辑和管理数据。用户可以轻松地…

qsort函数应用

1.引入 我们前面学习了一些常见的排序方法&#xff0c;比如冒泡排序等&#xff0c;但它仅局限于整型的排序&#xff0c;今天我们要介绍一个牛气哄哄的库函数qsort函数&#xff0c;这个函数可就厉害了&#xff0c;能排序任意类型数据&#xff0c;掌握后可谓受益终身&#xff0c;…

PyQt中的冒号(:)

在这段代码中&#xff0c;冒号&#xff08;:&#xff09;的使用是类型注解的一种形式&#xff0c;用于显式地指定变量的类型。在Python 3.5及以后的版本中&#xff0c;引入了类型注解的概念&#xff0c;可以在变量名后面使用冒号来注解变量的类型。 例如&#xff0c;在以下代码…

Python 安装第三方模块

要安装三方模块&#xff0c;需要知道模块的名字和pip。 pip来源&#xff1a; Mac、Linux无需安装自带。 Window:勾选了pip和add python.exe to Path 目录 安装Pillow 查看pip版本 命令行安装 查看本地安装库 升级pip 使用Pillow 引入三方库 打开图片 查看图片的信息 …

Metashape 自定义比例尺 / 无POS时如何制作DEM

前言操作步骤 前言 Metashape 自定义比例尺 和 无POS时如何制作DEM&#xff0c;此二者的操作步骤本质上是一样的。 当我们输入的照片没有POS&#xff0c;且没有做像控点的时候&#xff0c;比如我们仅仅拍摄了一个比较小的物体&#xff0c;可能是一瓶饮料或者一个椅子。 那么此…

C++刷题 -- KMP算法

C刷题 – KMP算法 文章目录 C刷题 -- KMP算法1.算法讲解2.算法实现 https://leetcode.cn/problems/find-the-index-of-the-first-occurrence-in-a-string/description/ 1.算法讲解 KMP算法是一种字符串匹配算法&#xff0c;当出现字符串不匹配时&#xff0c;可以记录一部分之…

【>D:\10\Debug\RCa00828(34): fatal error RC1022: expected ‘#endif‘】

1>D:\10\Debug\RCa00828(34): fatal error RC1022: expected ‘#endif’ The error message you’re seeing, fatal error RC1022: expected ‘#endif’, indicates that the resource compiler encountered an issue when processing a resource script file (typically w…

【CLion】使用CLion开发STM32

本文主要记录使用CLion开发STM32&#xff0c;并调试相关功能 使用的CLion版本&#xff1a;2023.3.1 CLion嵌入式配置教程&#xff1a;STM32CubeMX项目 |CLion 文档 (jetbrains.com) OpenOCD官网下载&#xff1a;Download OpenOCD for Windows (gnutoolchains.com) GNU ARM工…

大话前端:WebAssembly的未来与前端开发

大话前端&#xff1a;WebAssembly的未来与前端开发 引言 近年来&#xff0c;WebAssembly&#xff08;简称Wasm&#xff09;作为一种新兴的网络技术&#xff0c;正在逐步改变前端开发的格局。作为一种低级的类汇编语言&#xff0c;它允许代码以接近原生的速度运行&#xff0c;…

lv12 linux 内核移植 10

目录 1 内核概述 1.1 内核与操作系统 1.2 Linux层次结构 1.3 Linux内核特点 2 Linux内核源码结构 2.1 Linux内核源码获取 2.2 源码结构 3 Linux内核移植 3.1 在 Linux 官网下载 Linux 内核源码&#xff08;这里我们下载 linux-3.14.tar.xz&#xff09; 3.2 拷贝内核源…

React中对UI组件化的步骤和设计原理

在 React 中&#xff0c;对 UI 进行组件化是一个将复杂界面拆分成更小、独立和可复用部分的过程。这种方法有助于提高应用的可维护性、可测试性&#xff0c;并且可以提升开发效率。下面是 React 中对 UI 组件化的步骤和设计原理的详细解释&#xff1a; 步骤一&#xff1a;识别…

uniapp组件和周期的知识点以及怎么使用

UniApp是一个使用Vue.js开发跨平台应用的框架&#xff0c;它可以将代码编译成微信小程序、支付宝小程序、H5、App等多个平台的应用。在UniApp中&#xff0c;组件是构建应用界面的基本单位&#xff0c;而生命周期则是组件在实例化、挂载、更新和销毁过程中的一系列方法。 以下是…

【Spark-ML源码解析】Word2Vec

前言 在阅读源码之前&#xff0c;需要了解Spark机器学习Pipline的概念。 相关阅读&#xff1a;SparkMLlib之Pipeline介绍及其应用 这里比较核心的两个概念是&#xff1a;Transformer和Estimator。 Transformer包括特征转换和学习后的模型两种情况&#xff0c;用来将一个DataFr…

Unity触摸 射线穿透UI解决

unity API 之EventSystem.current.IsPointerOverGameObject() 命名空间 &#xff1a;UnityEngine.EventSystems 官方描述&#xff1a; public bool IsPointerOverGameObject(); public bool IsPointerOverGameObject(int pointerId); //触摸屏时需要的参数&#xff…

支持向量机 支持向量机概述

支持向量机概述 支持向量机 Support Vector MachineSVM ) 是一类按监督学习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器 (generalized linear classifier) &#xff0c;其决策边界是对学习样本求解的最大边距超亚面 (maximum-margin hyperplane)与逻辑回归和…

Unity | Shader基础知识(第七集:案例<让图片和外部颜色叠加显示>)

目录 一、本节介绍 1 上集回顾 2 本节介绍 二、添加图片资源 三、 常用cg数据类型 1 float 2 bool 3 sampler 四、加入图片资源 五、使用图片资源 1 在通道里加入资源 2 使用图片和颜色叠加 2.1 2D纹理采样tex2D 2.2 组合颜色 六、全部代码 七、下集介绍 相关…

26 redis 中 replication/cluster 集群中的主从复制

前言 我们这里首先来看 redis 这边实现比较复杂的 replication集群模式 我们这里主要关注的是 redis 这边的主从同步的相关实现 这边相对比较简单, 我们直接基于 cluster集群模式 进行调试 主从命令同步复制 比如这里 master 是 redis_7002, slave 是 redis_7005 然后 这…

11.HarmonyOS鸿蒙app_page的显示跳转方法

11.HarmonyOS鸿蒙app_page的显示跳转方法&#xff0c;text文本触发点击事件 使用Intent和Operation对象 创建新项目后&#xff0c;再创建secondPageAbility ability_main.xml <?xml version"1.0" encoding"utf-8"?> <DirectionalLayoutxmlns:…