Android上传到Minio本地存储

  1. Minio简介
    MinIO是一个对象存储解决方案,它提供了与Amazon Web Services S3兼容的API,并支持所有核心S3功能。 MinIO有能力在任何地方部署 - 公有云或私有云,裸金属基础设施,编排环境,以及边缘基础设施。author: https://blog.csdn.net/keeng2008

  2. 引入第三方库

implementation 'com.amazonaws:aws-android-sdk-s3:2.76.0'
implementation 'com.amazonaws:aws-android-sdk-mobile-client:2.76.0'
  1. 获取认证信息,创建Client对象
    创建对象时需要认证信息,需要有{AccessKeyId,SecretKey, SessionToken, endpoint}, 有些临时使用的情况,只需要{AccessKeyId,SecretKey, endpoint}。
    认证信息有有效期的,最好通过即时请求本地服务器,获得以上认证信息,缓存10分钟后丢弃。
        val region = Region.getRegion(Regions.CN_NORTH_1)val credentials = object : AWSSessionCredentials {override fun getAWSAccessKeyId(): String {return cfg.AccessKeyId}override fun getAWSSecretKey(): String {return cfg.AccessKeySecret}override fun getSessionToken(): String {return cfg.SecurityToken}}val s3: AmazonS3 = AmazonS3Client(credentials, region, ClientConfiguration());//服务器地址s3.setEndpoint(cfg.endpoint);

其中的endpoint为minio服务器地址,如 http://172.18.18.8:10100, 该端口跟网页上使用的不一样,否则会提示该端口不支持上传。

  1. 上传文件PutObjectRequest
    minio服务器中需要创建一个BUCKET,作为存储文件的空间。如 BUCKET = “demo_cloud”
        val totalBytesLength = file.length()val objectKey = relativePath + fileNameval transferedbytes = AtomicLong(0)val res: PutObjectResult = s3.putObject(PutObjectRequest(BUCKET, objectKey, file).withGeneralProgressListener { progressEvent ->val trans = transferedbytes.addAndGet(progressEvent.bytesTransferred)// 回调通知上传的进度progressCallback.onProgress(totalBytesLength, trans)});val map = mutableMapOf<String, Any>()map.put("eTag", res.eTag);map.put("objectKey", objectKey)return map

对于一般文件都能上传成功了,然后发现大文件时会报错,因为它对文件大小contentLenght使用int类型的参数,也就是超过2^31(大约1.9G)的文件会报错,无法传输;这时就需要使用分段上传了。

  1. 大文件分段上传MultipartUpload

反正都要写分段上传了,那就大于500MB的文件都使用分段上传吧-

    val SIZE_1M_BYTE: Long = 1024 * 1024if (totalBytesLength > SIZE_1M_BYTE * 500) {return uploadWithMultipart(s3, file, objectKey, progressCallback)} private suspend fun uploadWithMultipart(s3Client: AmazonS3, file: File,objectKey: String, progressCallback: IUploadClient.UploadCallback): Map<String, Any> {Log.i(TAG, "uploadWithMultipart file: $file")val contentLength = file.length()var partSize = CommonUtils.SIZE_1M_BYTE * 20 // Set part size to 20 MB.// Create a list of ETag objects. You retrieve ETags for each object part// uploaded,// then, after each individual part has been uploaded, pass the list of ETags to// the request to complete the upload.val partETags = mutableListOf<PartETag>()// Initiate the multipart upload.val initRequest = InitiateMultipartUploadRequest(BUCKET, objectKey)val initResponse: InitiateMultipartUploadResult =s3Client.initiateMultipartUpload(initRequest)// Upload the file parts.var filePosition: Long = 0var i = 1while (filePosition < contentLength) {// Because the last part could be less than 5 MB, adjust the part size as// needed.partSize = Math.min(partSize, contentLength - filePosition)// Create the request to upload a part.val uploadRequest: UploadPartRequest = UploadPartRequest().withBucketName(BUCKET).withKey(objectKey).withUploadId(initResponse.getUploadId()).withPartNumber(i).withFileOffset(filePosition).withFile(file).withPartSize(partSize)// Upload the part and add the response's ETag to our list.val uploadResult: UploadPartResult = s3Client.uploadPart(uploadRequest)partETags.add(uploadResult.getPartETag())filePosition += partSizei++progressCallback.onProgress(contentLength, filePosition)delay(120L)}// Complete the multipart upload.val compRequest = CompleteMultipartUploadRequest(BUCKET, objectKey,initResponse.getUploadId(), partETags)val res: CompleteMultipartUploadResult = s3Client.completeMultipartUpload(compRequest)val map = mutableMapOf<String, Any>()map.put("eTag", res.eTag);map.put("objectKey", objectKey)return map}   

本文author: https://blog.csdn.net/keeng2008
文件传输都是非常耗时的过程,分段的中途让它delay休息一下,调用put之后会堵塞当前线程的,最好都放要在IO线程完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/64620.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring MVC 中,处理异常的 6种方式

异常处理是每个 Java程序员需要面对的一个问题&#xff0c;在Spring中&#xff0c;提供了多种机制来处理控制器抛出的异常&#xff0c;确保应用程序在面对各种错误情况时能够优雅地响应。这篇文章&#xff0c;我们来详细分析Spring MVC中&#xff0c;几种优雅处理异常的方式。 …

多进程并发跑程序:pytest-xdist记录

多进程并发跑程序&#xff1a;pytest-xdist记录 pytest -s E:\testXdist\test_dandu.py pytest -s testXdist\test_dandu.py pytest -s &#xff1a;是按用例顺序依次跑用例 pytest -vs -n auto E:\testXdist\test_dandu.py pytest -vs -n auto&#xff0c;auto表示以全部进程…

【ETCD】【源码阅读】深入解析 EtcdServer.applySnapshot方法

今天我们来一步步分析ETCD中applySnapshot函数 一、函数完整代码 函数的完整代码如下&#xff1a; func (s *EtcdServer) applySnapshot(ep *etcdProgress, apply *apply) {if raft.IsEmptySnap(apply.snapshot) {return}applySnapshotInProgress.Inc()lg : s.Logger()lg.In…

spring @Mapper Converter转换泛型异常

spring Mapper Converter转换泛型异常 需要在每个list类型转换上面加Named 注解&#xff0c;否则会影响page生成的类型转换 比如&#xff1a; import org.mapstruct.Mapper; import org.mapstruct.Named;import com.baomidou.mybatisplus.core.metadata.IPage; import com.b…

笔记--(Shell脚本04)、循环语句与函数

循环语句 1、for语句的结构 for 变量名 in 取值列表 do 命令序列 done for 收件人 in 邮件地址列表 do 发送邮件 done for i in {1..10} doecho $i done[rootlocalhost shell]# ./ce7.sh 1 2 ...... 9 101 #!/bin/bash2 3 for i in seq 1 104 do5 echo $i6 done[rootlocal…

用.Net Core框架创建一个Web API接口服务器

我们选择一个Web Api类型的项目创建一个解决方案为解决方案取一个名称我们这里选择的是。Net 8.0框架 注意&#xff0c;需要勾选的项。 我们找到appsetting.json配置文件 appsettings.json配置文件内容如下 {"Logging": {"LogLevel": {"Default&quo…

go引用包生成不了vendor的问题

比如我要引入github.com/jinzhu/gorm这个包. 1. 首先获取包 go get github.com/jinzhu/gorm 这时go.mod文件中也有这个包依赖信息了. 2. 然后构建vendor go mod vendor 结果发现vendor目录下没有生成对应的包, 而且modules.txt也注释掉这个包了. 原因是没有其进行引用, go…

36. Three.js案例-创建带光照和阴影的球体与平面

36. Three.js案例-创建带光照和阴影的球体与平面 实现效果 知识点 Three.js基础 WebGLRenderer WebGLRenderer 是Three.js中最常用的渲染器&#xff0c;用于将场景渲染到网页上。 构造器 new THREE.WebGLRenderer(parameters)参数类型描述parametersobject可选参数&#…

websocket再项目中的使用

WebSocket在项目中的使用‌主要包括以下几个方面&#xff1a; ‌WebSocket的基本概念和原理‌&#xff1a; ‌定义‌&#xff1a;WebSocket是一种基于TCP的协议&#xff0c;实现了浏览器与服务器之间的全双工通信。它通过HTTP/1.1协议的101状态码进行握手&#xff0c;建立连接‌…

el-table表格嵌套子表格:展开所有内容;对当前展开行内容修改,当前行默认展开;

原文1 原文2 原文3 一、如果全部展开 default-expand-all"true" 二、设置有数据的行打开下拉 1、父table需要绑定两个属性expand-row-key和row-key <el-table:data"tableData":expand-row-keys"expends" //expends是数组&#xff0c;设置…

零基础微信小程序开发——小程序的宿主环境(保姆级教程+超详细)

&#x1f3a5; 作者简介&#xff1a; CSDN\阿里云\腾讯云\华为云开发社区优质创作者&#xff0c;专注分享大数据、Python、数据库、人工智能等领域的优质内容 &#x1f338;个人主页&#xff1a; 长风清留杨的博客 &#x1f343;形式准则&#xff1a; 无论成就大小&#xff0c;…

NOTEBOOK_11 汽车电子设备分享(工作经验)

汽车电子设备分享 摘要 本文主要列出汽车电子应用的一些实验设备和生产设备&#xff0c;部分会给予一定推荐。目录 摘要一、通用工具&#xff1a;二、测量与测试仪器2.1测量仪器2.2无线通讯测量仪器2.3元器件测试仪2.4安规测试仪2.5电源供应器2.6电磁兼容测试设备2.7可靠性环境…

利用两种方式分别实现单例模式(懒汉式、饿汉式)

package testsingle;//实现单例的两种方式 public class TestMySingle {public static void main(String[] args) {ClassA ca1 ClassA.getClassA();ClassA ca2 ClassA.getClassA();System.out.println(ca1ca2);ClassB cb1 ClassB.getClassB();ClassB cb2 ClassB.getClassB(…

linux centos 7 安装 mongodb7

MongoDB 是一个基于文档的 NoSQL 数据库。 MongoDB 是一个文档型数据库&#xff0c;数据以类似 JSON 的文档形式存储。 MongoDB 的设计理念是为了应对大数据量、高性能和灵活性需求。 MongoDB使用集合&#xff08;Collections&#xff09;来组织文档&#xff08;Documents&a…

微服务设计原则——功能设计

文章目录 1.ID生成2.数值精度3.DB操作4.性能测试5.版本兼容5.1 向旧兼容5.2 向新兼容 6.异步时序问题7.并发问题7.1 并发时序7.2 并发数据竞争 参考文献 1.ID生成 在分布式系统中&#xff0c;生成全局唯一ID是非常重要的需求&#xff0c;因为需要确保不同节点、服务或实例在并…

opengl 着色器 (四)最终章收尾

颜色属性 在前面的教程中&#xff0c;我们了解了如何填充VBO、配置顶点属性指针以及如何把它们都储存到一个VAO里。这次&#xff0c;我们同样打算把颜色数据加进顶点数据中。我们将把颜色数据添加3个float值到vertices数组。我们将把三角形的三个角分别指定为红色、绿色和蓝色…

矩阵在资产收益(Asset Returns)中的应用:以资产回报矩阵为例(中英双语)

本文中的例子来源于&#xff1a; 这本书&#xff0c;网址为&#xff1a;https://web.stanford.edu/~boyd/vmls/ 矩阵在资产收益(Asset Returns)中的应用&#xff1a;以资产回报矩阵为例 在量化金融中&#xff0c;矩阵作为一种重要的数学工具&#xff0c;被广泛用于描述和分析…

arXiv-2024 | NavAgent:基于多尺度城市街道视图融合的无人机视觉语言导航

作者&#xff1a;Youzhi Liu, Fanglong Yao*, Yuanchang Yue, Guangluan Xu, Xian Sun, Kun Fu 单位&#xff1a;中国科学院大学电子电气与通信工程学院&#xff0c;中国科学院空天信息创新研究院网络信息系统技术重点实验室 原文链接&#xff1a;NavAgent: Multi-scale Urba…

【Leetcode Top 100】199. 二叉树的右视图

问题背景 给定一个二叉树的 根节点 r o o t root root&#xff0c;想象自己站在它的右侧&#xff0c;按照从顶部到底部的顺序&#xff0c;返回从右侧所能看到的节点值。 数据约束 二叉树的节点个数的范围是 [ 0 , 100 ] [0,100] [0,100] − 100 ≤ N o d e . v a l ≤ 100…

校园点餐订餐外卖跑腿Java源码

简介&#xff1a; 一个非常实用的校园外卖系统&#xff0c;基于 SpringBoot 和 Vue 的开发。这一系统源于黑马的外卖案例项目 经过站长的进一步改进和优化&#xff0c;提供了更丰富的功能和更高的可用性。 这个项目的架构设计非常有趣。虽然它采用了SpringBoot和Vue的组合&am…