两种MinIO分布式集群部署方式

湖蓝几何球体LinkedIn Banner.png
转载说明:如果您喜欢这篇文章并打算转载它,请私信作者取得授权。感谢您喜爱本文,请文明转载,谢谢。


相关文章推荐:
对象存储MinIO的简介与部署
记录一次跨越16个月的minio版本升级与数据迁移
MinIO集群怎么接入Prometheus监控?(上)
MinIO集群怎么接入Prometheus监控?(下)

关于分布式集群MinIo

单机Minio服务存在单点故障,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线,才能创建新的对象。

例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服务器器宕机,这个集群仍然是可读的,不过你需要9台服务器才能写数据。

注意:只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用2个节点,每个节点4块硬盘;也可以使用4个节点,每个节点2块硬盘,诸如此类。

部署分布式MinIO集群,需要注意:

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任,为此,建议在执行MinIO server命令前,为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置,则默认是minioadmin/minioadmin。
2、MinIO创建擦除编码集,每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。
3、MinIO选择最大的EC集合大小,该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布,即每个节点参与每个集合的驱动器数量相等。
4、每个对象都写入一个EC集,因此分布在不超过16个驱动器上。
5、建议所有运行分布式MinIO设置的节点都是同构的,即相同的操作系统、相同的硬盘数量和相同的网络互连。
6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。
7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步,以确保分布式集群内的服务器时间一致。
8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。
9、MinIO目前在Windows上的运行尚不成熟,生产环境慎重使用。

分布式MinIO集群部署

1、虚拟机部署

1.1 部署规划:

一共5台服务器。MinIO集群部署在4台服务器上,每个服务器1块磁盘;剩余一台服务器用于部署Nginx负载均衡。
image.png

1.2 部署步骤:

1.2.1 四台服务器开启时间同步,命令:

# yum -y install ntp
# systemctl enable ntpd
# systemctl start ntpd
# timedatectl set-ntp yes
# ntpdate -u cn.pool.ntp.org
# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime   
# watch -n 1 'date'

1.2.2 创建相关目录,并下载minio

# mkdir /home/minio/{app,config,data,logs} -p
# cd /home/minio/app
# wget https://dl.min.io/server/minio/release/linux-amd64/minio
# chmod +x minio

1.2.3 创建部署启动脚本:
启动脚本run.sh:

#!/bin/bash
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=admin@minio
/home/minio/app/minio server --config-dir /home/minio/config  --console-address ":9001" \    
http://10.98.66.62:9000/home/minio/data \
http://10.98.66.63:9000/home/minio/data \
http://10.98.66.64:9000/home/minio/data \
http://10.98.66.65:9000/home/minio/data >/home/minio/logs/start.txt 2>&1 &

启动脚本有一个参数–config-dir /home/minio/config 是指定配置文件路径的,如果没有指定这个参数,那么默认就会在~/.minio下生成相关的文件

1.2.4 启动应用:

# sh run.sh

4个节点都重复以上4个部署步骤。待4个节点都成功启动后,集群启动成功。
注意:
如果只启动了1个节点,那么可能发现9001端口没有启动,继续等到4个节点都启动后再检查9001,会发现就启动成功了。

1.3 配置Nginx代理
[root@test-66 domains]# cat minio-cluster.conf 
upstream minio_console {server 10.98.66.62:9001 max_fails=3 fail_timeout=5s;server 10.98.66.63:9001 max_fails=3 fail_timeout=5s;server 10.98.66.64:9001 max_fails=3 fail_timeout=5s;server 10.98.66.65:9001 max_fails=3 fail_timeout=5s;
}
upstream minio_api {server 10.98.66.62:9000 max_fails=3 fail_timeout=5s;server 10.98.66.63:9000 max_fails=3 fail_timeout=5s;server 10.98.66.64:9000 max_fails=3 fail_timeout=5s;server 10.98.66.65:9000 max_fails=3 fail_timeout=5s;
}server {listen          9001;   #或者用80端口也可以server_name     10.98.66.66;    #可以用域名access_log      /home/minio/logs/minio.com_access.log main;error_log       /home/minio/logs/minio.com_error.log warn;location / {proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;proxy_set_header        Host  $host;proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;proxy_pass              http://minio_console;expires                 0;}
}server {listen          9000;server_name     10.98.66.66;   #可以用域名access_log      /home/minio/logs/minio.com_access.log main;error_log       /home/minio/logs/minio.com_error.log warn;#root            /home/minio/app/;location / {proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;proxy_set_header        Host  $host;proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;proxy_pass              http://minio_api;expires                 0;}
}
[root@test-66 domains]#

因为没有用域名,所以访问的时候就用的NginxIP访问:http://10.98.66.66:9001,登录后,就能看到集群4个节点都是OK状态:
image.png
在页面创建一个Bucket:
image.png
因为是集群状态,所以图上圈出来的4个配置现在是可用状态了。
bucket创建好之后,到4台MinIo节点的/home/minio/data目录看,都存在test目录了,四个节点是同步的:
image.png

2、在rancher上部署MinIo集群

部署步骤:

  • 创建4个工作负载
  • 创建service
  • 创建负载均衡
2.1 创建工作负载截图minio-1:

image.png
上图中入口启动命令:

minio server http://minio-1:9000/data/ http://minio-2:9000/data/ http://minio-3:9000/data/ http://minio-4:9000/data/ --console-address :9001

minio-1成功启动后,按照minio-1克隆minio-2、minio-3、minio-4,注意修改工作负载名、hostname、数据卷挂载:
image.png

2.2 创建service

image.png

2.3 创建负载均衡

image.png
image.png

2.4 登录验证

image.png
登录后,能看到刚刚部署的节点:
image.png
创建一个名为rancher的bucket:
image.png
然后查看rancher上4个MinIO节点的/data目录,都存在rancher目录,数据同步也OK:
image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/607289.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文字识别与光学字符识别有什么区别?

随着科技的不断发展,文字识别和光学字符识别技术已经成为我们日常生活和工作中不可或缺的一部分。然而,许多人对于这两者之间的区别并不十分清楚。本文将详细探讨文字识别与光学字符识别之间的差异,以帮助读者更好地理解这两种技术。 文字识…

Unity组件开发--相机跟随角色和旋转

1.相机跟随组件,节点: 2.相机跟随组件脚本: using System; using System.Collections; using System.Collections.Generic; using Unity.Burst.Intrinsics; using UnityEngine; using UnityEngine.UI;public class CameraFollow : Singleton&…

番茄工作法

番茄工作法是一种时间管理方法,主要适用于专注工作。它的基本步骤包括: 设定一个25分钟的闹钟。默念三二一(321法则),开始全身心投入工作。用专注的状态高效工作25分钟,不允许走神。如果做到了步骤3&#…

人工智能帮我建商城——文心一言代写基于jeecgboot的商城系统【springboot】

最近打算手搓一个jeecgboot的虚拟产品商城系统(无发货物流)【挖坑】 本文章会记录从0开发一个商城的主要内容。【使用文心一言深度参与制作和设计,甚至编程】 如果大家有什么意见,可以评论区讨论 本篇文章是一个新坑&#xff0…

[设计模式 Go实现] 结构型~享元模式

享元模式从对象中剥离出不发生改变且多个实例需要的重复数据,独立出一个享元,使多个对象共享,从而节省内存以及减少对象数量。 flyweight.go package flyweightimport "fmt"type ImageFlyweightFactory struct {maps map[string]…

Java——判空方式ObjectUtils/CollectionUtils/StringUtils及区别

目录 前言一、ObjectUtils.isEmpty二、CollectionUtils.isEmpty三、StringUtils.isEmpty四、StringUtils.isBlank四、!null后续敬请期待 前言 Java——判空方式ObjectUtils/CollectionUtils/StringUtils及区别 一、ObjectUtils.isEmpty 可判断String、集合、基本数据类型等数…

apk反编译修改教程系列---修改apk包名等信息 让一个应用拥有无限分身 手机电脑同步演示【九】

往期教程: apk反编译修改教程系列-----修改apk应用名称 任意修改名称 签名【一】 apk反编译修改教程系列-----任意修改apk版本号 版本名 防止自动更新【二】 apk反编译修改教程系列-----修改apk中的图片 任意更换apk桌面图片【三】 apk反编译修改教程系列---简单…

Rust 常用集合(上)

目录 1、使用 Vector 储存列表 1.1 新建 vector 1.2 更新 vector 1.3 读取 vector 的元素 1.4 遍历 vector 中的元素 1.5 使用枚举来储存多种类型 1.6 丢弃 vector 时也会丢弃其所有元素 2、使用字符串储存 UTF-8 编码的文本 2.1 什么是字符串? 2.2 新建字…

联邦机构如何利用人工智能加速 IT 系统现代化

尽管行业压力巨大,许多公共部门组织仍然需要依赖已有数十年历史的遗留 IT 系统,这些系统可能会增加安全风险和成本,导致人员短缺,并减缓开发团队交付关键任务应用程序的速度。 与此同时,考虑到这些大型系统中内存不安…

抖音蓝V账号矩阵怎么搭建?抖音蓝v号如何开通子帐户?

一、抖音蓝V是什么?有什么价值? 所谓抖音蓝V,就是抖音企业蓝V认证账号,2018年6月推出来的。 抖音蓝V有什么价值? 1)可以直接传递你的企业观或产品理念; 2)可以缩短你的企业与抖音…

微服务系统面经之四: 以秒杀系统为例 - 用户秒杀状态的通知【京东支付后端一面】

28 秒杀状态相关 28.1 对于一个秒杀系统,用户点击秒杀按钮后,怎么才能知道其秒杀状态?【京东支付后端一面】 对于秒杀系统,用户点击秒杀按钮后,确定其秒杀状态的过程通常包含以下几个关键步骤: 请求处理&…

设计模式的艺术P1基础—2.3 类之间的关系

设计模式的艺术P1基础—2.3 类之间的关系 在软件系统中,类并不是孤立存在的,类与类之间存在各种关系。对于不同类型的关系,UML提供了不同的表示方式 1.关联关系 关联(Association)关系是类与类之间最常用…

k8s yaml文件pod的生命周期

Pod是k8s中最小限额资源管理组件,也是最小化运行容器化的应用的资源管理对象。 Pod是一个抽象的概念,可以理解为一个或者多个容器化应用的集合。 在一个pod当中运行一个容器是最常用的方式。 在一个pod当中同时运行多个容器,在一个pod当中…

异常处理:全面覆盖与精细化管理的平衡

异常处理:全面覆盖与精细化管理的平衡 在软件开发中,异常处理是保证系统稳定性和用户体验的重要环节。对于是否应当全面覆盖所有异常并设立兜底机制,业界存在着两种主流思路:全面覆盖原则和精细化处理。如何在这两者间取得平衡&a…

WPF ComboBox限制输入长度

在WPF中&#xff0c;你可以通过两种方式来限制ComboBox的输入长度&#xff1a; 使用PreviewTextInput事件&#xff1a;你可以在这个事件的处理程序中检查输入文本的长度&#xff0c;如果超过最大长度则阻止输入。 <ComboBox PreviewTextInput"ComboBox_PreviewTextIn…

python插入排序

插入排序&#xff08;Insertion Sort&#xff09;是一种简单直观的排序算法。它的工作原理是通过构建有序序列&#xff0c;对于未排序数据&#xff0c;在已排序序列中从后向前扫描&#xff0c;找到相应位置并插入。插入排序在实现上&#xff0c;通常使用in-place排序&#xff0…

域名解析服务器:连接你与互联网的桥梁

域名解析服务器&#xff1a;连接你与互联网的桥梁 大家好&#xff0c;我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天&#xff0c;我们将探讨一个网络世界中至关重要却鲜为人知的角…

1.框架介绍项目环境配置与项目启动!

目录 1.框架开发方向:2.项目启动与环境搭建 1.框架开发方向: 1.前后端分离项目 2.纯后端项目 3.移动端开发uni-app(ios、Android、H5、微信小程序) 4.内容管理系统2.项目启动与环境搭建 1.安装node.js 下载地址可以用nvm安装 便于运行前端项目https://blog.csdn.net/qq_58647…

webpack的性能优化(一)——分包优化

1.什么是分包&#xff1f;为什么要分包&#xff1f; 默认情况下&#xff0c;Webpack 会将所有代码构建成一个单独的包&#xff0c;这在小型项目通常不会有明显的性能问题&#xff0c;但伴随着项目的推进&#xff0c;包体积逐步增长可能会导致应用的响应耗时越来越长。归根结底这…

二叉树 | 二叉树的前序遍历问题

二叉树的前序遍历问题描述 提供二叉树的根节点 root &#xff0c;返回它节点值的 前序 遍历。 二叉树的前序遍历是一种深度优先遍历&#xff08;DFS&#xff09;的方式&#xff0c;其遍历顺序为&#xff1a;先访问根节点&#xff0c;然后递归地对左子树进行前序遍历&#xff…