目录
一、MFS分布式文件系统
1、MooseFS简介
2、Moose File System的体系结构
(1)MooseFS Master
(2)MooseFS Chunk Server
(3)MooseFS Metalogger
(4)MooseFS Client
(5)MooseFS CLI
二、MFS命令介绍
三、集群部署
四、Storage Classes
1、Storage Classes简介
2、 LABEL简介
3、示例:
五、Moose File System的pacemaker高可用
1、安装 Master Servers
2、pacemaker高可用
3、ISCSI
4、添加集群资源
5、应用
一、MFS分布式文件系统
1、MooseFS简介
MFS(Moose File System)是一个基于分布式网络文件系统的开源存储系统。MFS可以在多台计算机上组织文件并提供统一的文件系统访问。MFS的主要特点是高可用性、可靠性和扩展性。它使用存储在多个节点上的数据进行数据冗余,并使用快速而可靠的网络传输数据。MFS还支持在运行时动态添加和删除节点,以便随着系统需求的变化而进行快速和灵活的扩展。
2、Moose File System的体系结构
Moose File System是一个分布式文件系统,它由多个组件组成。
(1)MooseFS Master
MooseFS Master是一个开源的分布式文件系统管理器,它能够管理一个或多个MooseFS Chunk Servers,为客户端提供可靠的文件存储和访问服务。MooseFS Master使用Master-Slave架构,它可以处理超过数百个Chunk Server的集群,并且具有高可用性和可伸缩性。它支持多种数据备份策略,可以将数据备份到多个Chunk Server上,从而提高数据的可靠性和容错性。MooseFS Master还提供了Web界面和命令行工具,方便用户管理和监控文件系统的运行状态。
(2)MooseFS Chunk Server
MooseFS Chunk Server 是MooseFS 分布式文件系统中的组成部分之一,主要负责存储和管理文件系统中的文件数据块。每个 MooseFS Chunk Server 可以存储多个数据块,并与 MooseFS Master Server 进行通信以保持文件系统的一致性和可用性。MooseFS Chunk Server 可以在多台服务器上部署,因此 MooseFS 文件系统可以通过多个节点并行地处理文件的存储、访问和备份。
(3)MooseFS Metalogger
- MooseFS Metalogger是一个MooseFS集群的组件,它负责管理和记录MooseFS文件系统的元数据。它的作用是确保元数据的一致性和可靠性,以避免数据丢失或损坏的情况发生。
- MooseFS Metalogger可以运行在独立的服务器上,也可以与其他MooseFS组件一起运行在同一台服务器上。它使用特殊的协议与其他MooseFS组件进行通信,以确保数据和元数据的一致性。
- 在MooseFS集群中,Metalogger通常设置为主/备两个节点,以确保在主节点故障时备用节点能够接管并继续提供服务,从而实现高可用性。
(4)MooseFS Client
- MooseFS是一种开源的分布式文件系统,它允许用户在多台服务器之间共享数据。MooseFS Client是MooseFS文件系统的客户端,用户可以使用MooseFS Client来访问MooseFS文件系统中存储的数据。
- MooseFS Client提供了一个用户空间工具,它包括了一个命令行界面和一个文件系统挂载程序。使用MooseFS Client,用户可以将MooseFS文件系统挂载到本地文件系统中,就像挂载任何其他文件系统一样。这意味着用户可以直接在本地系统上访问MooseFS文件系统中的数据,而无需知道它实际上存储在哪个服务器上。
- MooseFS Client使用自身的协议来访问MooseFS服务器,这意味着它可以在不同的操作系统上运行,包括Linux、BSD、Solaris和Windows。此外,MooseFS Client还支持许多其他高级功能,例如安全访问、文件缓存、数据压缩和限制带宽等功能。
(5)MooseFS CLI
- MooseFS CLI是一个基于命令行界面的管理工具,用于管理MooseFS文件系统。它提供了一组命令,可用于查看和修改MooseFS中的文件、目录和元数据,以及监控系统性能和状况。
- MooseFS CLI可以通过SSH远程连接到MooseFS服务器,也可以在本地运行。它可以执行诸如创建、删除、重命名、移动和复制文件等基本操作,同时还可以进行更高级的操作,如设置文件ACL、挂载磁盘、调整容量限制等操作。
- MooseFS CLI还支持命令行自动补全和命令历史记录等功能,使得操作更加方便和高效。它是MooseFS系统中一个十分重要的管理工具,非常适合那些需要以命令行方式管理文件系统的用户。
这些组件共同协作,实现文件的存储和访问。MooseFS的设计使得它能够扩展到数百个节点,可以存储数PB的数据。
二、MFS命令介绍
-
mfsmount:将 MooseFS 挂载到本地文件系统。
-
mfsmetarestore:用于将备份中的元数据恢复到 MooseFS 文件系统中。
-
mfsbackup:用于对 MooseFS 文件系统创建备份。它可以备份整个文件系统或单个目录。
-
mfsmount.cfg:MooseFS Mount 配置文件。它包含有关如何将 MooseFS 文件系统挂载到本地文件系统的信息。
-
mfsgooglecache:使用 Google Cloud Storage 作为 MooseFS 缓存。它可以帮助用户提高 MooseFS 系统的性能。
-
mfshdd:硬盘诊断工具。它可以帮助检测 MooseFS 存储节点中硬盘的健康状态。
-
mfsgetgoal: 查看设置的副本数
-
mfssetgoal:设置副本数。(必须设置在 1 到 9 之间,建议不要使用 1)。如果设置的副本数高于 Chunkservers 的总数,则副本数为 Chunkservers 的总数。
-
mfsdirinfo:查看目录详细信息。
-
mfsfileinfo:查看文件详细信息。
-
mfsgettrashtime:查看已删除文件(垃圾)的保留时间(默认为 1天)。
-
mfssettrashtime:修改已删除文件(垃圾)的保留时间。
-
mfsscadmin:用于管理MoosesFS存储集群中的文件系统实例。行实例的创建、删除、添加和删除存储节点,以及设置哈希分片策略等操作。
-
mfssetsclass:用来设置一个或多个文件或目录的存储类别。存储类别确定了文件或目录在存储设备上的位置和使用的存储策略,例如,高速缓存、磁盘存储、或者归档存储。
mfssetsclass [-c class] [-s] [-r] [-d] [-f] file or directory ...
等;
三、集群部署
主机 | ip | 角色 |
mfs1 | 192.168.67.41 | Master Servers |
mfs2 | 192.168.67.42 | Chunkservers |
mfs3 | 192.168.67.43 | Chunkservers |
mfs4 | 192.168.67.44 | Clients |
mfs5 | 192.168.67.45 | Chunkservers |
软件安装(Master Servers):
软件仓库(所有节点)
curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
安装:
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service
添加解析
Chunkservers节点安装
yum install moosefs-chunkserver
修改配置:
cd /etc/mfs/
vim mfshdd.cfg
mkdir chunk1
三节点同上
Clients节点安装:
yum install moosefs-client
修改文件(挂载点)
cd /etc/mfs/
vim mfsmount.cfg
/mnt/mfscd /mnt
mkdir mfs
mfsmount
所有节点都要添加解析
测试
mkdir dir1
mkdir dir2
cd dir1
touch file1 vim file1 (文件不能为空)
mfsfileinfo file1mfsgetgoal -k dir2/
mfssetgoal -r 1 dir2/
cd dir2
touch file1
mfsfileinfo file1
四、Storage Classes
1、Storage Classes简介
MooseFS的Storage classes可以根据数据的需求来灵活的配置和选择不同的存储类型。它们可以根据应用需求来提供高性能的读写速度、数据的冗余备份和大规模的数据存储。
2、 LABEL简介
label是指对文件或目录进行标记,以便于对它们进行管理和区分。label可以是任何文本字符串,通常用于指示文件或目录的用途、状态或其他属性。例如,您可以为某个目录设置一个label,以指示它是用于存储备份文件,或者为某个文件设置一个label,以指示它是具有高优先级的任务数据。MooseFS使用label可以帮助用户更好地组织和管理文件系统中的数据。
3、示例:
同理扩容节点三
修改配置 添加标签
创建存储类及应用
(1)2S
mfsscadmin create 2S class 2s
cd dir1
mfssetsclass -r class 2s file1
mfsfileinfo file1
(2) A,B
mfsscadmin create A,B class_ab
mfssetsclass -r class ab file1
mfsfileinfo file1
(3)S,H
mkdir dir3
mfsscadmin create S,H class sh
touch file1
mfssetsclass -r class sh file1
(4)3S
mfssetgoal -r 3 dir3/
修改标签
mfsscadmin create 3S class 3s
mfssetsclass -r class 3s file1
mfsfileinfo file1
所以创建的存储类
各种组合都可以有
五、Moose File System的pacemaker高可用
主机 | ip | 角色 |
mfs1 | 192.168.67.41 | Master Servers + pacemaker + ISCSI(Client) |
mfs2 | 192.168.67.42 | Chunkservers |
mfs3 | 192.168.67.43 | Chunkservers |
mfs4 | 192.168.67.44 | Clients + ISCSI(Server) |
mfs5 | 192.168.67.45 | Chunkservers |
mfs6 | 192.168.67.46 | Master Servers + pacemaker + ISCSI(Client) |
1、安装 Master Servers
防止两台高可用主机mfs用户id不同
curl "https://repository.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://repository.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
systemctl enable --now moosefs-master.service
systemctl enable --now moosefs-cgiserv.service
查看id
2、pacemaker高可用
配置软件仓库
vim /etc/yum.repo.d/yyl.repo[HighAvailability]
name=rhel7.6 HighAvailability
baseurl=file:///media/addons/HighAvailability
gpgcheck=0
安装高可用
yum install -y pacemaker pcs psmisc policycoreutils-python
启动pcsd服务 设置用户密码 节点认证
systemctl enable --now pcsd.service
ssh mfs6 systemctl enable --now pcsd.serviceecho westos | passwd --stdin hacluster
ssh mfs6 'echo westos | passwd --stdin hacluster'pcs cluster auth mfs1 mfs6
创建集群
pcs cluster auth mfs1 mfs6
启动集群
pcs cluster start--all
pcs cluster enable --all
禁用stonith
pcs property set stonith-enabled=false
3、ISCSI
服务端配置:
在mfs4上添加一块硬盘
yum install targetcli -y
systemctl enable --now target
配置
/backstores/block create yyl:storage /dev/sdb1
/iscsi create iqn.2023-11.org.yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/luns create /backstores/block/yyl:storage
/iscsi/iqn.2023-11.org.yyl:storage/tpg1/acls create iqn.2023-11.org.yyl:yylkey1
在高可用集群做客户端(mfs1,mfs6)
安装客户端:
yum install iscsi-initiator-utils.x86_64 -y
编辑认证文件
vim /etc/iscsi/initiatorname.iscsi
systemctl restart iscsid
客户端测试
iscsiadm -m discovery -t st -p 192.168.67.44
iscsiadm -m node -T iqn.2023-11.org.yyl:storage -p 192.168.67.44 -l
在服务端创建分区 格式化:
fdisk /dev/sdb
mkfs.xfs /dev/sdb1
测试挂载
应用:
在mfs文件系统
修改权限 可以启动就表示成功
取消挂载
4、添加集群资源
pcs resource create vip ocf:heartbeat:IPaddr2 ip=192.168.67.200 op monitor interval=30s
pcs resource create mfs ocf:heartbeat:Filesystem device=/dev/sdb1 directory=/var/lib/mfs fstype=xfs
pcs resource create mfs-master systemd:moosefs-master op monitor interval=60s
pcs resource group add groupmfs vip mfs mfs-master
5、应用
在集群所有节点添加解析
测试: