【Spring Cloud Alibaba】13.自建存储对象服务与集成(minio版)

文章目录

  • 简介
    • 什么是云存储服务(OSS)
    • 为什么选择MiniIO
    • MiniIO相关地址
  • 搭建(docker)
    • 安装Docker
    • 部署MinIO
    • 创建存储桶
    • 配置存储桶
    • 设置存储桶可以直接在浏览器访问
  • 集成到Spring Cloud Alibaba项目
    • 创建子模块
    • 引入依赖包
    • 项目结构
    • 配置文件
    • 工具类
    • 接口类
    • 测试

简介

接下来对分布式项目实现存储对象服务器搭建与集成,本操作与前置步骤关系不大,大家可酌情查看前置步骤,详情请参照【Spring Cloud Alibaba】Spring Cloud Alibaba 搭建教程

什么是云存储服务(OSS)

OSS (Object Storage Service) 是一种云存储服务,用于存储和访问大量的非结构化数据,如图片、视频、文档等。它提供了高可靠性、高扩展性和低成本的存储解决方案,适用于各种云计算和大数据应用场景。

以下是一些常用的开源对象存储服务搭建技术:

  1. MinIO:专注于对象存储,具有高性能和易用性,适合用于存储大量的非结构化数据。
  2. Ceph:分布式存储系统,具有高可靠性和可扩展性,适合用于大规模存储和数据处理。
  3. Swift:OpenStack项目的一部分,提供对象存储服务,适合用于云存储和数据备份。
  4. HDFS:Apache Hadoop的分布式文件系统,适合用于大数据存储和处理。
  5. GlusterFS:分布式文件系统,具有高可用性和可扩展性,适合用于文件共享和存储。
  6. Ozone:Apache Hadoop的对象存储层,适合用于大规模对象存储和分析。

为什么选择MiniIO

对于云存储服务的集成大同小异,本文介绍的是MiniIO,至于为什么选择MiniIO,主要是因为搭建和集成方便,性能也不错,适合中小企业比较省心。

MiniIO相关地址

官网地址:https://min.io
官网文档:https://min.io/docs/minio/container/index.html

开源地址:

  • Github
  • Gitee

搭建(docker)

本问搭建方式选择的是docker,其他搭建方法参照官网搭建教程

安装Docker

已安装过的用户忽略此步骤,未安装的用户可以参照往期文章:
Centos安装docker
ubuntu安装docker
window安装docker

部署MinIO

创建文件持久化路径

mkdir -p ~/minio/data

创建并运行MinIO容器

docker run -d\--restart=always \-p 9876:9000 \-p 9878:9878 \--name minio \-v ~/minio/data:/data \-e "MINIO_ROOT_USER=moonce" \-e "MINIO_ROOT_PASSWORD=Mm123456" \quay.io/minio/minio server /data --console-address ":9878"

命令说明:

  • docker run:创建并启动容器;
  • --restart=always:跟随docker一起启动;
  • -p 9876:9000-p 9878:9878 :指定主机与容器端口映射,主机98769878分别对应容器90009878端口;
  • --name minio :指定容器名称为minio
  • -v ~/minio/data:/data:将主机路径 ~/minio/data与容器 /data映射,数据持久化存储;
  • -e "MINIO_ROOT_USER=moonce"-e "MINIO_ROOT_PASSWORD=Mm123456":设置默认用户名和密码;
  • quay.io/minio/minio:镜像地址,默认安装最新稳定版,需要指定版本加:版本
  • server /data:容器中文件存储位置
  • --console-address ":9878":指定UI控制台端口

创建完成后,打开服务器IP:9878
在这里插入图片描述
输入创建容器设置的账号密码,完成登录

创建存储桶

1.登录完成后,我们进入Buckets菜单,然后点击按钮Create Bucket
在这里插入图片描述
2.输入存储桶名称,无特殊要求的话,其他默认即可
在这里插入图片描述
配置说明

  • Versioning:允许在同一密钥下保留同一对象的多个版本。
  • Object Locking:可防止对象被删除。需要支持保留和合法保留。只能在创建存储桶时启用。
  • Quota :限制桶中的数据量。
  • Retention:施加规则以防止在一段时间内删除对象。必须启用版本控制才能设置存储桶保留策略。

配置存储桶

1.创建完成后我们在Buckets菜单中可以看到已经创建名为moonce的存储桶
在这里插入图片描述
2.点击这个存储桶,打开存储桶详细配置信息
在这里插入图片描述
功能项说明

  • EventsMinIO 存储桶通知允许管理员就某些对象或存储桶事件向支持的外部服务发送通知。 MinIO 支持与 Amazon S3 事件通知类似的存储桶和对象级 S3 事件。
  • ReplicationMinIO 支持源存储桶和目标存储桶之间的服务器端和客户端对象复制。
  • Lifecycle :MinIO 对象生命周期管理允许为基于时间或日期的对象自动转换或到期创建规则。对于对象转换,MinIO 自动将对象移动到配置的远程存储层。
  • Access :了解哪些政策和用户被授权接入这个桶。
  • Anonymous :设置匿名策略允许客户端无需认证即可访问Bucket或前缀内容并执行符合指定策略的操作。

设置存储桶可以直接在浏览器访问

选择Anonymous,点击Add Access Rule
在这里插入图片描述
创建新的匿名规则,让改存储桶下所有文件可以匿名只读
在这里插入图片描述
这样我们就可以直接在浏览器访问服务器IP:9876/moonce/存储桶中文件名.jpg来直接访问到文件。

集成到Spring Cloud Alibaba项目

创建子模块

参照【Spring Cloud Alibaba】3.创建服务提供者,创建服务提供者模块,命名为moonce-minio-provider

引入依赖包

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.5.10</version>
</dependency>

如果允运行提示Unsupported OkHttp library found. Must use okhttp >= 4.12.0错误,则修改引用的okhttp版本

 <!-- minio oss --><dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.5.10</version><exclusions><exclusion><groupId>com.squareup.okhttp3</groupId><artifactId>okhttp</artifactId></exclusion></exclusions></dependency><dependency><groupId>com.squareup.okhttp3</groupId><artifactId>okhttp</artifactId><version>4.12.0</version></dependency>

项目结构

在这里插入图片描述

配置文件

MinioConfig.java

import io.minio.MinioClient;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioConfig {private String endpoint;private String accessKey;private String secretKey;private String bucketName;@Beanpublic MinioClient minioClient() {return MinioClient.builder().endpoint(endpoint).credentials(accessKey, secretKey).build();}
}

参数配置(演示时没连nacos,正常应该将配置信息写到nacos中)
application.yml

server:port: 8081management:endpoints:web:exposure:include: "*"
minio:#Minio服务所在地址endpoint: http://127.0.0.1:9876#存储桶名称bucketName: moonce#访问的keyaccessKey: moonce#访问的秘钥secretKey: Mm123465

工具类

MinioUtil.java


import com.moonce.provider.config.MinioConfig;
import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.util.FastByteArrayOutputStream;
import org.springframework.web.multipart.MultipartFile;import javax.annotation.Resource;
import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;@Component
@Slf4j
public class MinioUtil {@Autowiredprivate MinioConfig prop;@Resourceprivate MinioClient minioClient;/*** 查看存储bucket是否存在* @return boolean*/public Boolean bucketExists(String bucketName) {Boolean found;try {found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return found;}/*** 创建存储bucket* @return Boolean*/public Boolean makeBucket(String bucketName) {try {minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return true;}/*** 删除存储bucket* @return Boolean*/public Boolean removeBucket(String bucketName) {try {minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return true;}/*** 获取全部bucket*/public List<Bucket> getAllBuckets() {try {List<Bucket> buckets = minioClient.listBuckets();return buckets;} catch (Exception e) {e.printStackTrace();}return null;}/*** 文件上传** @param file 文件* @return Boolean*/public String upload(MultipartFile file) {String originalFilename = file.getOriginalFilename();if (StringUtils.isBlank(originalFilename)){throw new RuntimeException();}String fileName = System.currentTimeMillis() + originalFilename.substring(originalFilename.lastIndexOf("."));SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM/dd");String formattedDate = sdf.format(new Date());String objectName = formattedDate + "/" + fileName;try {PutObjectArgs objectArgs = PutObjectArgs.builder().bucket(prop.getBucketName()).object(objectName).stream(file.getInputStream(), file.getSize(), -1).contentType(file.getContentType()).build();//文件名称相同会覆盖minioClient.putObject(objectArgs);} catch (Exception e) {e.printStackTrace();return null;}return objectName;}/*** 预览图片* @param fileName* @return*/public String preview(String fileName){// 查看文件地址GetPresignedObjectUrlArgs build = new GetPresignedObjectUrlArgs().builder().bucket(prop.getBucketName()).object(fileName).method(Method.GET).build();try {String url = minioClient.getPresignedObjectUrl(build);return url;} catch (Exception e) {e.printStackTrace();}return null;}/*** 文件下载* @param fileName 文件名称* @param res response* @return Boolean*/public void download(String fileName, HttpServletResponse res) {GetObjectArgs objectArgs = GetObjectArgs.builder().bucket(prop.getBucketName()).object(fileName).build();try {GetObjectResponse response = minioClient.getObject(objectArgs);byte[] buf = new byte[1024];int len;try (FastByteArrayOutputStream os = new FastByteArrayOutputStream()){while ((len=response.read(buf))!=-1){os.write(buf,0,len);}os.flush();byte[] bytes = os.toByteArray();res.setCharacterEncoding("utf-8");// 设置强制下载不打开// res.setContentType("application/force-download");res.addHeader("Content-Disposition", "attachment;fileName=" + fileName);try (ServletOutputStream stream = res.getOutputStream()){stream.write(bytes);stream.flush();}}} catch (Exception e) {e.printStackTrace();}}/*** 查看文件对象* @return 存储bucket内文件对象信息*/public List<Item> listObjects() {Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(prop.getBucketName()).build());List<Item> items = new ArrayList<>();try {for (Result<Item> result : results) {items.add(result.get());}} catch (Exception e) {e.printStackTrace();return null;}return items;}/*** 删除* @param fileName* @return* @throws Exception*/public boolean remove(String fileName){try {minioClient.removeObject( RemoveObjectArgs.builder().bucket(prop.getBucketName()).object(fileName).build());}catch (Exception e){return false;}return true;}}

接口类

MinioController.java

import com.moonce.provider.config.MinioConfig;
import com.moonce.provider.util.MinioUtil;
import io.minio.messages.Bucket;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;import javax.servlet.http.HttpServletResponse;
import java.util.List;@Slf4j
@RestController
@RequestMapping(value = "product/file")
public class MinioController {@Autowiredprivate MinioUtil minioUtil;@Autowiredprivate MinioConfig prop;/*** 查看存储bucket是否存在* @param bucketName* @return*/@GetMapping("/bucketExists")public Boolean bucketExists(@RequestParam("bucketName") String bucketName) {return minioUtil.bucketExists(bucketName);}/*** 创建存储bucket* @param bucketName* @return*/@GetMapping("/makeBucket")public Boolean makeBucket(String bucketName) {return minioUtil.makeBucket(bucketName);}/*** 删除存储bucket* @param bucketName* @return*/@GetMapping("/removeBucket")public Boolean removeBucket(String bucketName) {return minioUtil.removeBucket(bucketName);}/*** 获取全部bucket* @return*/@GetMapping("/getAllBuckets")public  List<Bucket> getAllBuckets() {List<Bucket> allBuckets = minioUtil.getAllBuckets();return allBuckets;}/*** 文件上传返回url* @param file* @return*/@PostMapping("/upload")public String upload(@RequestParam("file") MultipartFile file) {String objectName = minioUtil.upload(file);if (null != objectName) {return prop.getEndpoint() + "/" + prop.getBucketName() + "/" + objectName;}return "";}/*** 图片/视频预览* @param fileName* @return*/@GetMapping("/preview")public String preview(@RequestParam("fileName") String fileName) {return minioUtil.preview(fileName);}/*** 文件下载* @param fileName* @param res* @return*/@GetMapping("/download")public void download(@RequestParam("fileName") String fileName, HttpServletResponse res) {minioUtil.download(fileName,res);}/*** 删除文件* @param url* @return*/@PostMapping("/delete")public String remove(String url) {String objName = url.substring(url.lastIndexOf(prop.getBucketName()+"/") + prop.getBucketName().length()+1);minioUtil.remove(objName);return objName;}

测试

在这里插入图片描述
访问返回地址,可正确打开图片!
在这里插入图片描述
在我们的minio控制台可以查询到该文件,上传路径中的/会自动分割成文件夹的形式!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/849704.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

别让你的品牌失去声音,品牌策划如何成为你的王牌?

品牌策划可不仅仅是一个简单的概念&#xff0c;它是一门真正的艺术和科学。 它涉及到在确立品牌定位之后&#xff0c;进行一系列精心设计的传播和推广活动&#xff0c;从而塑造和管理品牌&#xff0c;让品牌价值达到最大化。 在这个竞争激烈的市场中&#xff0c;想要让你的品…

【人工智能】第三部分:ChatGPT的应用场景和挑战

人不走空 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌赋&#xff1a;斯是陋室&#xff0c;惟吾德馨 目录 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌…

FactoryTalk View Site Edition的VBA基本应用

第一节 在VBA中标签的读取和写入 本例要达到的目标是通过FactoryTalk View Site Edition&#xff08;以下简称SE&#xff09;的VBA来访问PLC中的下位标签&#xff0c;并实现标签的读写。 1.准备工作 打开SE&#xff0c;选择应用程序类型&#xff08;本例是Site Edition Netwo…

燃烧截稿倒计时,NDSS‘25大会即将召开,你的论文准备好了吗?

燃烧截稿倒计时&#xff01;NDSS25大会即将召开&#xff0c;你的论文准备好了吗&#xff1f; 第32届NDSS25(Network and Distributed System Security Symposium)即网络与分布式系统安全研讨会将于2025年2月23日至28日在加利福尼亚州圣地亚哥举行&#xff01; 作为信息安全领域…

【Python机器学习】将PCA用于cancer数据集并可视化

PCA最常见的应用之一就是将高维数据集可视化。一般对于有两个以上特征的数据&#xff0c;很难绘制散点图&#xff0c;。对于Iris&#xff08;鸢尾花&#xff09;数据集&#xff0c;我们可以创建散点矩阵图&#xff0c;通过展示特征所有可能的两两组合来展示数据的局部图像。 不…

MI-SegNet: 基于互信息的超越领域泛化的超声图像分割

文章目录 MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization摘要方法实验结果 MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization 摘要 针对医学图像分割在不同领域间泛化能力有限的问题,特别是针…

Docker搭建redis-cluster集群

1. 前期准备 1.1 拉redis镜像 docker search redis docker pull redis1. 2 创建网卡 docker network create myredis --subnet 172.28.0.0/16#查看创建的网卡 docker network inspect myredisdocker network rm myredis #删除网卡命令 多个中间 空格隔开 docker network --h…

Python中的Paramiko与FTP文件夹及文件检测技巧

哈喽&#xff0c;大家好&#xff0c;我是木头左&#xff01; Python代码的魅力与实用价值 在当今数字化时代&#xff0c;编程已成为一种不可或缺的技能。Python作为一种简洁、易读且功能强大的编程语言&#xff0c;受到了全球开发者的喜爱。它不仅适用于初学者入门&#xff0c…

配置 jDK 和 Android环境

目录 一、配置jDK 1. 安装 JDK 2. JDK 环境配置 3. JDK的配置验证 二、配置 Android环境 1、下载 2、SDK配置 3、配置Android环境 一、配置jDK 1. 安装 JDK 安装链接&#xff1a;Java Downloads | Oracle 我安装的是 .zip &#xff0c;直接在指定的文件夹下解压就好。…

上位机快速开发框架

右上角向下按钮 -> 后台配置 系统菜单 角色管理 分配权限 用户管理 设备配置 通道管理 首页界面设计 设备1配置 带反馈按钮&#xff0c;如&#xff1a;用户按键00105&#xff0c;PLC反馈状态00106 设备2配置 参数说明&#xff1a; TagName_Main&#xff1a;主要信息&#…

RabbitMQ消息的发布确认机制详解

RabbitMQ发布确认机制确保消息从生产者成功传输到交换机和队列&#xff0c;提高系统可靠性。在Spring Boot项目中&#xff0c;通过配置publisher-confirm-type和publisher-returns&#xff0c;启用发布确认和消息返回机制。配置RabbitTemplate的确认回调和返回回调&#xff0c;…

阿里 Qwen2 模型开源,教你如何将 Qwen2 扩展到百万级上下文

本次开源的 Qwen2 模型包括 5 个尺寸&#xff0c;分别是 0.5B、1.5B、7B、72B、57B&#xff0c;其中 57B 的属于 MoE 模型&#xff08;激活参数 14B&#xff09;&#xff0c;其余为 Dense 模型&#xff0c;本篇文章会快速介绍下各个尺寸模型的情况&#xff0c;然后重点介绍下如…

20212416 2023-2024-2 《网络与系统攻防技术》实验八实验报告

Web安全实践 1.实验内容2.实验过程2.1 Web前端HTML2.1.1 正常安装、启停Apache2.1.2 编写一个含有表单的HTML2.1.2.1 基础知识2.1.2.2 实践 2.2 Web前端javascipt2.2.1 基础知识2.2.2 实践 2.3 Web后端&#xff1a;MySQL基础2.3.1 正常安装、启动MySQL2.3.2 创建用户、修改密码…

torch.cat 与 torch.concat函数

文章目录 区别torch.cat介绍作用参数使用实例关于参数dim为None的使用 区别 先说结论&#xff1a;没有区别在功能、用法以及作用上&#xff0c;concat函数就是cat函数的别名&#xff08;官方就是这样说的&#xff09;。下面截图为证&#xff1a;   因此接下来就主要是介绍 to…

[NOVATEK] NT96580行车记录仪功能学习笔记

一、u-Boot升级灯 运行u-Boot程序时LED灯闪烁,找到运行过程中一直在运行的函数在里面进行LED引脚电平的翻转 宏定义 Z:\SunFan\AHD580\pip\na51055_PIP\BSP\u-boot\include\configs\nvt-na51055-evb.h Z:\SunFan\AHD580\pip\na51055_PIP\BSP\u-boot\drivers\mtd\nvt_flash_…

MATLAB format

在MATLAB中&#xff0c;format 是一个函数&#xff0c;用于控制命令窗口中数值的显示格式。这个函数可以设置数值的精度、显示的位数等。以下是一些常用的 format 命令&#xff1a; format long&#xff1a;以默认的长格式显示数值&#xff0c;通常显示15位有效数字。format s…

【Linux】深入解析动静态库:原理、制作、使用与动态链接机制

文章目录 前言&#xff1a;1. 什么是动静态库2. 动静态库的制作和使用3. 动态库的查找问题4. 理解动态库的加载4.1. 站在系统的角度理解4.2. 编址、可执行程序4.3. 动态库动态链接和加载问题 总结&#xff1a; 前言&#xff1a; 在软件开发中&#xff0c;动静态库是两种重要的…

11.盛水最多的容器

给定一个长度为 n 的整数数组 height 。有 n 条垂线&#xff0c;第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线&#xff0c;使得它们与 x 轴共同构成的容器可以容纳最多的水。 返回容器可以储存的最大水量。 说明&#xff1a;你不能倾斜容器。 示例 1&a…

编写程序提示用户输入一个数目(例如:100)、年利率(例如:5)以及月份数(例如:6),然后显示给定月份后账户上的钱数。

(财务应用程序:复利值)假设你每月向银行账户存 100美元&#xff0c;年利率为5%&#xff0c;那么每 月利率是 0.05/12-0.00417。 第一个月之后&#xff0c;账户上的值就变成:100*(10.00417)100.417 第二个月之后&#xff0c;账户上的值就变成(100100.417)*(10.00417)-201.252 第…

算法金 | 不愧是腾讯,问基础巨细节 。。。

大侠幸会&#xff0c;在下全网同名「算法金」 0 基础转 AI 上岸&#xff0c;多个算法赛 Top 「日更万日&#xff0c;让更多人享受智能乐趣」 最近&#xff0c;有读者参加了腾讯算法岗位的面试&#xff0c;面试着重考察了基础知识&#xff0c;并且提问非常详细。 特别是关于Ada…