一二三应用开发平台文件处理设计与实现系列之7——minio多节点共享磁盘模式验证

背景

在不了解minio架构设计之前，我根据既往经验推测minio是将文件读写封装实现了一个应用系统，如要实现高可用，则需要部署两个minio节点，共享同一块磁盘。两个minio节组成一个集群，使用nginx实现负载均衡，这是一种常见的部署架构。

官方资料介绍的部署模式有两大类（https://min.io/docs/minio/linux/operations/installation.html），单节点部署和分布式部署，其中单节点又细分为单磁盘（只使用1块磁盘，不使用纠删码）和多磁盘（至少挂载4块磁盘，启用纠删码）。

在上述方案中，并不包含多节点共享同一块磁盘的模式，并且强调minio挂载的磁盘需要是干净的。

官方说明同时提到了站点复制模式，但该模式并不是共享磁盘，而是数据在多个站点同步（Data written to one site automatically replicates to the other peer site.）。
在这里插入图片描述

在了解了minio的文件高可用方案机制与原理后，还是有个疑惑，多节点共享磁盘到底是否可行？做了以下探索和验证。

共享同一块磁盘

首先尝试一种简单场景，minio部署两个节点，同享同一块磁盘。

docker run -p 10001:9000  --name minio-node1 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data-share:/data minio/minio:RELEASE.2021-04-22T15-44-28Z server /datadocker run -p 10002:9000  --name minio-node2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data-share:/data minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

两个节点均能启动成功。
image.png
启动日志显示正常，无警告更没有报错。

2023-11-29 11:12:09 Endpoint: http://172.17.0.3:9000  http://127.0.0.1:9000 
2023-11-29 11:12:09 
2023-11-29 11:12:09 Browser Access:
2023-11-29 11:12:09    http://172.17.0.3:9000  http://127.0.0.1:9000
2023-11-29 11:12:09 
2023-11-29 11:12:09 Object API (Amazon S3 compatible):
2023-11-29 11:12:09    Go:         https://docs.min.io/docs/golang-client-quickstart-guide
2023-11-29 11:12:09    Java:       https://docs.min.io/docs/java-client-quickstart-guide
2023-11-29 11:12:09    Python:     https://docs.min.io/docs/python-client-quickstart-guide
2023-11-29 11:12:09    JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
2023-11-29 11:12:09    .NET:       https://docs.min.io/docs/dotnet-client-quickstart-guide
2023-11-29 11:12:09 IAM initialization complete

使用控制台创建桶及上传文件、下载文件、删除文件，从两个minio看上去，数据是同步的，都正常。
对容器进行任意重启、删除、新建操作，无报错、数据能正常读取。

共享多块磁盘

上面两个minio节点共享一块磁盘通过了测试，再往前迈一步，依旧是4个minio节点，然后每个minio节点挂载4块磁盘，这4块磁盘依旧是共享的，看看纠删码机制启用的情况下，共享磁盘的模式是否会产生相互干扰和数据错乱。
执行如下命令，创建容器

docker run -p 11001:9000  --name minio1 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4docker run -p 11002:9000  --name minio2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4

重复共享同一块磁盘的测试验证，结果依然正常。

非对称挂载磁盘

双节点，各挂载四块共享磁盘，仍旧正常运行。再进一步，磁盘不对称，推测应该会出问题。保持第一个节点挂载4块磁盘不变，先来尝试第二个节点挂载8块磁盘，是第1个节点的双倍关系，然后再尝试挂载6块磁盘。

docker run -p 21002:9000  --name minio2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 -v E:\dockerVolume\minio\data5:/data5 -v E:\dockerVolume\minio\data6:/data6 -v E:\dockerVolume\minio\data7:/data7 -v E:\dockerVolume\minio\data8:/data8 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4 /data5 /data6 /data7 /data8

直接启动报错，无限重启，提示data1磁盘已经被另外的纠删阵列使用了。

2023-11-29 14:03:52 
2023-11-29 14:03:52  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:52  Update: Run `mc admin update` 
2023-11-29 14:03:52 
2023-11-29 14:03:52 
2023-11-29 14:03:53 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:03:55 
2023-11-29 14:03:55  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:55  Update: Run `mc admin update` 
2023-11-29 14:03:55 
2023-11-29 14:03:55 
2023-11-29 14:03:55 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:03:57 
2023-11-29 14:03:57  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:57  Update: Run `mc admin update` 
2023-11-29 14:03:57 
2023-11-29 14:03:57 
2023-11-29 14:03:58 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:01 
2023-11-29 14:04:01  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:04:01  Update: Run `mc admin update` 
2023-11-29 14:04:01 
2023-11-29 14:04:01 
2023-11-29 14:04:02 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:06 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:09 
2023-11-29 14:04:09  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:04:09  Update: Run `mc admin update` 
2023-11-29 14:04:09 
2023-11-29 14:04:09 
2023-11-29 14:04:10 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)

挂载8块都出错了，后面就没必要验证挂载6块磁盘了。

结论

通过以上验证工作，基本符合原先的推测，即可以多个minio节点共享磁盘，将minio视为“应用”，将共享的磁盘视为“数据库”，几个minio节点组成集群，通过外置的负载均衡软件如Nginx实现高可用。
需要保持每个节点挂载磁盘的数量一致，可以只挂载一块磁盘，也可以挂载一组（>=4）磁盘，启用纠删码。

开源平台资料

平台名称：一二三开发平台
简介： 企业级通用开发平台
设计资料：csdn专栏
开源地址：Gitee
开源协议：MIT
欢迎收藏、点赞、评论，你的支持是我前行的动力。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/656249.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C深度解剖】const关键字

【C深度解剖】const关键字

简介：本系列博客为C深度解剖系列内容，以某个点为中心进行相关详细拓展 适宜人群：已大体了解C语法同学 作者留言：本博客相关内容如需转载请注明出处，本人学疏才浅，难免存在些许错误，望留言指正 作…
阅读更多...
菜单栏应用管理 -- Bartender 4

菜单栏应用管理 -- Bartender 4

Bartender 4是一款旨在优化和简化Mac菜单栏管理的强大工具。它具有以下特色功能： 组织和管理菜单栏图标：Bartender 4允许用户轻松组织和管理菜单栏中的图标，可以隐藏不常用的图标，保持菜单栏的整洁和简洁。同时，用户还…
阅读更多...
雾锁王国多人联机专用服务器推荐！最高支持16人联机

雾锁王国多人联机专用服务器推荐！最高支持16人联机

Steam平台24日新上线一款奇幻生存冒险建造动作RPG游戏《ENSHROUDED雾锁王国》，玩家将置身于一个广阔的可编辑改造的体素世界中，在被灾祸笼罩的先祖之地上展开生存之旅。在《雾锁王国》中，玩家可以独自冒险，也可以与最多16名玩家联…
阅读更多...
Ajax入门与使用

Ajax入门与使用

目录 ◆ AJAX 概念和 axios 使用 什么是 AJAX？ 怎么发送 AJAX 请求？ 如何使用axios axios 函数的基本结构 axios 函数的使用场景 1 没有参数的情况 2 使用params参数传参的情况 3 使用data参数来处理请求体的数据 4 上传图片等二进制的情况…
阅读更多...
漫画图解 Go 并发编程之：Channel

漫画图解 Go 并发编程之：Channel

当谈到并发时，许多编程语言都采用共享内存/状态模型。然而，Go 通过实现 Communicating Sequential Processes（CSP）而与众不同。在 CSP 中，程序由不共享状态的并行处理器组成；相反，他们使用 Chan…
阅读更多...
基于Redis实现短信登录

基于Redis实现短信登录

首先我们要思考一下利用redis来存储数据，那么到底使用哪种结构呢？由于存入的数据比较简单，我们可以考虑使用String，或者是使用哈希，如下图，如果使用String，同学们注意他的value，用多…
阅读更多...
第4章 数据表示与特征工程

第4章 数据表示与特征工程

目录 1. 分类变量1.1 One-Hot编码（虚拟变量）检查字符串编码的分类数据 1.2 数字可以编码分类变量 2. 分箱、离散化、线性模型与树3. 交互特征与多相似特征4. 单变量非线性变换总结（2~4）5. 自动化特征选择5.1 单变量统计5.2 基于模…
阅读更多...
C语言菜鸟入门·判断语句（if语句、if...else语句、嵌套if语句）详细介绍

C语言菜鸟入门·判断语句（if语句、if...else语句、嵌套if语句）详细介绍

目录 1. if语句 2. if...else语句 3. if...else if...else 语句 4. 嵌套if语句 C 语言把任何非零和非空的值假定为 true，把零或 null 假定为 false。 语句描述if语句一个 if 语句 由一个布尔表达式后跟一个或多个语句组成。if...else语句一个 if 语句 后可跟…
阅读更多...
Unity3d实现简单的战斗

Unity3d实现简单的战斗

使用u3d实现一个简单的战斗demo，记下学到的知识点，以备后查。 1.判断是否点中指定物体 if (Input.GetMouseButton(0)) {Ray ray Camera.main.ScreenPointToRay(Input.mousePosition);if (Physics.Raycast(ray, out RaycastHit hit)){//坐标转换Vector…
阅读更多...
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。 遇到的问题 Flink开发…
阅读更多...
世微AP5125 LED外置MOS降压恒流驱动IC 12-36V 9V 1A驱动方案

世微AP5125 LED外置MOS降压恒流驱动IC 12-36V 9V 1A驱动方案

本品特点：宽输入电压范围：9V～100V ◆ 固定工作频率：140KHZ◆ 可设定电流范围：10mA～6000mA ◆ 内置抖频电路，降低对其他设备的 EMI 干扰◆ 平均电流模式采样，恒流精度更高◆ CS 电压…
阅读更多...
136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，广泛应用于细胞追踪和标记实验中

136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，广泛应用于细胞追踪和标记实验中

136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，CellTracker Green CMFDA，可以用于基因表达分析等实验中，广泛应用于细胞追踪和标记实验中 您好，欢迎来到新研之家 文章关键词：1…
阅读更多...
c语言学习笔记之字符串库函数和逗号表达式

c语言学习笔记之字符串库函数和逗号表达式

逗号表达式 #include <stdio.h>int main(){int a 10;int b 5;int c 6;int d (a 23,b a-4,c b2);printf("%d",d); }打印结果为: 逗号表达式,从左往右依次进行,将最后一个表达式的值赋值给变量. c语言字符串相关库函数 求字符串长度strlen长度不受限制的…
阅读更多...
Qt开源版 vs 商业版 详细比较！！！！

Qt开源版 vs 商业版 详细比较！！！！

简单整理Qt开源版与商业版有哪些差别&#xff0c;仅供参考。 简单对比 开源版商业版许可证大部分采用对商业使用不友好的LGPLv3具备商业许可证保护代码专有许可证相关大部分模块使用LGPLv3和部分模块使用GPL组成仅第三方开源组件使用Qt的其他许可证Qt模块功能支持支持技术支持…
阅读更多...
海外云手机为什么吸引用户？

海外云手机为什么吸引用户？

近年来&#xff0c;随着全球化的飞速发展&#xff0c;海外云手机逐渐成为各行各业关注的焦点。那么&#xff0c;究竟是什么让海外云手机如此吸引用户呢&#xff1f;本文将深入探讨海外云手机的三大吸引力&#xff0c;揭示海外云手机的优势所在。 1. 高效的社交媒体运营 海外云…
阅读更多...
c#窗体捕捉方向键

c#窗体捕捉方向键

方法1 实现方法参考代码&#xff1a; private void Form1_Load(object sender, EventArgs e){this.KeyPreview true;}protected override bool ProcessDialogKey(Keys keyData){if (keyData Keys.Left || keyData Keys.Right || keyData Keys.Up || keyData Keys.Down){s…
阅读更多...
工程经验分享 Incremental FastPitch

工程经验分享 Incremental FastPitch

分享 NVIDIA 基于 GPU 的 TTS 解决方案介绍。 1. 基于 FastPitchHifi-GAN 的 Streaming TTS 效果优化 NVIDIA 在 TTS 领域也做了一些供大家参考的工作&#xff0c;例如提供了高效的流式 TTS 部署方案&#xff0c;利用 TensorRT 加速模型推理速度&#xff0c;并通过 Triton Inf…
阅读更多...
【软考- 系统集成项目管理工程师2】

【软考- 系统集成项目管理工程师2】

第一章-信息化知识-信息与信息化 今日座右铭&#xff1a;最好的偷懒方式&#xff0c;就是一次做好。 文章目录 第一章-信息化知识-信息与信息化前言一、信息1、信息的基本概念2、信息的传输模型3、信息的质量属性 二、信息系统1、系统的基本概念2、信息系统的生命周期 三、信息…
阅读更多...
IDEA 安装阿里Java编码规范插件

IDEA 安装阿里Java编码规范插件

1.File>Settings 2.安装之后重启 开发过程中如果有不符合规范的地方&#xff0c;会自动出现提示
阅读更多...
【C语言/数据结构】排序（归并排序|计数排序|排序算法复杂度）

【C语言/数据结构】排序（归并排序|计数排序|排序算法复杂度）

&#x1f308;个人主页&#xff1a;秦jh__https://blog.csdn.net/qinjh_?spm1010.2135.3001.5343&#x1f525; 系列专栏&#xff1a;《数据结构》https://blog.csdn.net/qinjh_/category_12536791.html?spm1001.2014.3001.5482 ​​​​ 目录 归并排序 代码实现&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023