linux高级篇基础理论十一(GlusterFS)

♥️作者:小刘在C站

♥️个人主页: 小刘主页 

♥️不能因为人生的道路坎坷,就使自己的身躯变得弯曲;不能因为生活的历程漫长,就使求索的 脚步迟缓。

♥️学习两年总结出的运维经验,以及思科模拟器全套网络实验教程。专栏:云计算技术

♥️感谢CSDN让你我相遇!

目录

GFS简介

1、GlusterFS特点:

2、GFS术语

3、GlusterFS的工作流程

4、弹性HASH算法

算法优点

5、GFS的七种卷的类型:

6、GFS多卷的创建:

分布式卷:

条带卷:

复制卷:

分布式条带卷:

分布式复制卷:​编辑

命令解析:

命令补充:(重要)


GFS简介

GlusterFS是一个开源的分布式文件系统,同时也是Scale--Out存储解决方案Gluster的核心,在
存储数据方面具有强大的横向扩展能力,通过扩展不同的节点可以支持数PB级别的存储容量。
GlusterFS借助TCP/IP或InfiniBand RDMA网络将分散的存储资源汇聚在一起,统一提供存储服务,并使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间以及无元的设计,可为各种不同的数据负载提供优异的性能。

1、GlusterFS特点:

   扩展性和高性能
   高可用性
   全局统一命名空间
   弹性卷管理
   基于标准协议


2、GFS术语

  • Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区,是GlusterFS中的基本存储单元,同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成,表示方法为SERVER:EXPORT,如192.168.1.4:data/mydir/
  • Volume(逻辑卷):一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备,类似于LVM中的逻辑卷。大部分Gluster管理操作是在卷上进行的。
  • FUSE(Filesystem inUserspace):是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。
  • VFS:内核空间对用户空间提供的访问磁盘的接口。
  • Glusterd(后台管理进程):在存储群集中的每个节点上都要运行

3、GlusterFS的工作流程

(1)客户端或应用程序通过GlusterFS的挂载点访问数据。
(2)Linux系统内核通过VFS API收到请求并处理
(3)VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的文件系统FUSE,而FUSE
文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端。可以将FUSE文件系统理
解为一个代理。
(4)GlusterFS client收到数据后,client根据配置文件对数据进行处理
(5)经过GlusterFS client处理后,通过网络将数据传递至远端的GlusterFS Server,并且将数据写
入服务器存储设备。


4、弹性HASH算法

弹性HASH算法使用Davies--Meyer算法,通过HASH算法得到一个32位的整数范围,假设逻辑卷中有W个存储单位Bck,则32位的整数范围将被划分为W个连续的子空间,每个空间对应一个
Bck。当用户或应用程序访问某一个命名空间时,通过对该命名空间计算HASH值,根据该HASH值所对应的32位整数空间定位数据所在的Bick。

算法优点

保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖,进而解决了单点故障以及访问瓶颈


5、GFS的七种卷的类型:

  • 分布式卷:(Distribute volume):文件通过HASH算法分布到所有Brick Server上,这种卷是Glusterf的基础;以文件为单位根据HASH算法散列到不同的Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的RADO 0,不具有容错能力。
  • 条带卷(Stripe volume):类似RAID0,文件被分成数据块并以轮询的方式分布到多个BrickServer上,文件存储以数据块为单位,支持大文件存储,文件越大,读取效率越高。
  • 复制卷(Replica volume):将文件同步到多个Brick上,使其具备多个文件副本,属于文件级RAD1,具有容错能力。因为数据分散在多个Bick中,所以读性能得到很大提升,但写性能下降。
  • 分布式条带卷(Distribute Stripe volume):Brick Server数量是条带数(数据块分布的Brick数量)的倍数,兼具分布式卷和条带卷的特点。
  • 分布式复制卷(Distribute Replica volume):Brick Server数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。
  • 条带复制卷(Stripe Replica volume):类似RAID10,同时具有条带卷和复制卷的特点。
  • 分布式条带复制卷(Distribute Stripe Replicavolume):三种基本卷的复合卷,通常用于类Map
  • Reduce应用。

6、GFS多卷的创建:

分布式卷:

条带卷:

复制卷:

分布式条带卷:

分布式复制卷:
命令解析:

1:创建中共用4台服务器,分别为:node1/node2/node3/node4。

2:node1与node2服务器分别有四块磁盘,剩下两台分别有三块磁盘。

3:其中b3/c4/d5/e6/分别为实际挂载点

4:create后面参数为卷名,卷面后面关键字为创建卷的类型

命令补充:(重要)

查看卷的信息:gluster     volume     info     卷名    //(例如上方:dis-volume)

启动卷:gluster   volume    start  卷名    //(使用前必须开启)

挂载:mount    -t   glusterfs  node1:dis-volume   /test/dis    (node1:主机,dis-volume:卷名,     test/dis:挂载点)

人生要尽全力度过每一关,不管遇到什么困难不可轻言放弃!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/615451.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VS中动态库的创建和调用

VS中动态库的创建和调用 库 ​ 库是写好的现有的,成熟的,可以复用的代码。库的存在形式本质上来说库是一种可执行代码的二进制。 ​ 库有两种:静态库(.a、.lib)和动态库(.so、.dll)。所谓静态…

一键操作完整的部署项目流程

目录 一、常见的搭配 二、完整的部署项目流程具体步骤 2.1、安装jdk 安装jdk : 配置环境: 检查是否成功: 2.2、配置tomcat外部访问 下载解压软件 安装tomcat 测试tomcat安装是否成功 2.3、安装MySQL 安装vcc环境 命令输入步骤 安…

应用在热能表领域中的数字温度传感芯片

热能表,是适用于测量在热交换环路中,被称作载热液体的液体所吸收或转换热能的仪器,它由流量传感器、温度传感器和热能积算仪三部分组成。热量表(热表)又称热能表、热能积算仪,既能测量供热系统的供热量又能…

多模态推荐系统综述:二、特征交互 Fusion

二、Fusion 融合不同的多模态信息,与bridge相比,融合更关注项目之间的多模态内部关系。 它可以灵活地融合不同权重和焦点的多模态信息。 注意机制是应用最为广泛的特征融合。 2.1 粗粒度注意力。 一些模型应用注意力机制在粗粒度级别融合来自多种模式…

ES6笔记总结

首先我们需要了解一下什么是 ECMA: ECMA(European Computer Manufacturers Association)中文名称为欧洲计算机制造商协会,这 个组织的目标是评估、开发和认可电信和计算机标准。1994 年后该组织改名为 Ecma 国际 什么是 ECMAScr…

美易官方《美股一哥争夺战白热化:微软市值一度超越苹果》

随着科技股的持续走高,美股一哥争夺战也愈发激烈。微软和苹果这两家科技巨头之间的市值争夺战更是吸引了全球市场的关注。上周苹果接连被两家华尔街机构下调评级后,微软的市值已经在逼近苹果,挑战苹果的美股最高市值公司地位。 微软和苹果都…

[深度学习]Open Vocabulary Object Detection 部署开放域目标检测模型使用感受

一、Open Vocabulary Object Detection介绍 Open Vocabulary Object Detection (OpenVOD) 是一种新型的目标检测方法,它使用开放词汇的概念来识别和检测图像中的对象。与传统的目标检测方法相比,OpenVOD具有更高的灵活性和可扩展性,因为它允…

K8S集群重新初始化--详细过程

K8S集群重新初始化 0、当前环境1、master节点1.1、在master节点执行下面reset命令:1.2、手动清除配置信息,这一步很关键:1.3、重新引导集群1.4、创建配置目录,并复制权限配置文件到用户目录下:1.5 查看集群状态1.6 安装…

小红书私信组件功能解读,商家如何使用

今年八月,小红书私信组件上新了两大新功能。新功能的出现,无疑为商家与消费者的沟通建联,提供了新的可能。今天我们来针对小红书私信组件功能解读! 一、小红书私信组件新功能 这次小红书私信组件上新的两大功能分别是,…

Wargames与bash知识10

Wargames与bash知识10 Bandit Level 17 关卡提示: 主目录中有两个文件:passwords.old和passwords.new。下一级的密码在passwords.new中,是在password.old和password.new之间唯一被更改的行 注意:如果你已经解决了这个级别&…

GEE查看SMAP的L3级土壤水分产品并导出为TIFF

SMAP的L3级产品,时间分辨率为每日,空间分辨率为9KM,到2023年12月2日停止提供。 查看逐日的土壤水分变化 // 设置感兴趣区域(Region of Interest) var roi ee.FeatureCollection(projects/a-flyllf0313/assets/dacha…

【Spring Cloud】微服务架构演变及微服务架构介绍

文章目录 系统架构演变单体应用架构垂直应用架构分布式架构SOA 架构微服务架构 微服务架构介绍微服务架构的常见问题微服务架构的常见概念服务治理服务调用服务网关服务容错链路追踪 微服务架构的常见解决方案ServiceCombSpringCloudSpring Cloud Alibaba 总结 欢迎来到阿Q社区…

C++ 类访问修饰符

数据封装是面向对象编程的一个重要特点,它防止函数直接访问类类型的内部成员。类成员的访问限制是通过在类主体内部对各个区域标记 public、private、protected 来指定的。关键字 public、private、protected 称为访问修饰符。 一个类可以有多个 public、protected…

探索web技术与低代码开发的融合应用

随着物联网、云计算和人工智能等技术的迅猛发展,现代软件开发正面临着日益增长的需求和复杂性。为了应对这一挑战,一种被称为低代码开发的快速、可视化开发方法逐渐崭露头角。本文将探讨低代码开发与web技术的融合应用,以及这种趋势对软件开发…

答题小程序源码系统:自带流量主广告位+视频激励广告 带完整的代码安装包以及搭建教程

随着互联网的迅速发展,各种应用程序层出不穷,而答题类小程序由于其独特的互动性和吸引力,成为了当前最热门的应用之一。答题小程序源码系统是一款基于微信小程序开发的源代码系统,它具有丰富的功能和灵活的定制性,可以…

git修改最新提交(commit)信息

一、修改最近一次commit信息 1、首先通过git log查看commit信息 2、使用命令git commit --amend进入命令命令模式,按i进入编辑模式,修改好commit信息后按Esc键退出编辑模式,然后输入:wq保存编辑信息(注意使用英文输入法&#xf…

读书分享-《认知觉醒》揭示心智潜能的启迪之作

《认知觉醒》是一部引人入胜的作品,它不仅深入探索了认知科学的最新进展,而且还以独特的视角阐述了如何通过提升认知能力来改善个人生活和工作效率。作者在书中巧妙地将复杂的科学理论转化为易于理解的语言,使得普通读者也能轻松掌握这些概念…

win10在启动游戏时报错,提示“d3dx9_25.dll文件丢失”,怎么办?d3dx9_25.dll丢失如何自动修复

一、d3dx9_25.dll文件是什么? d3dx9_25.dll是DirectX的一部分,DirectX是一种由微软开发的专门处理与多媒体、游戏程序和视频相关的应用程序接口。d3dx9_25.dll文件是DirectX9中一个重要的dll文件,主要负责处理3D图形程序,作用是帮…

Eva.js是什么(互动小游戏开发)

前言 Eva.js 是一个专注于开发互动游戏项目的前端游戏引擎。 易用:Eva.js 提供开箱即用的游戏组件供开发人员立即使用。是的,它简单而优雅! 高性能:Eva.js 由高效的运行时和渲染管道 (Pixi.JS) 提供支持,这使得释放设…

时至今日,编制与大厂到底怎么选?

我觉得这可能是一个辩论三天三夜也不会有结论的话题。 说实话,2023年已经过去,真的没有感觉赚钱更容易,反而是周边失业的同事不少。 现在感觉,是不是选择早点进入编制可能更加稳定?你们又怎么看?