分布式存储系统Ceph应用组件介绍

1、 无中心架构分布式存储Ceph

Ceph是一套开源的分布式存储系统。具有可靠性高,性能优良,可伸缩,与HDFS不同的地方在于,该架构中没有中心节点。    

Ceph优点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据均衡分布,因此它不存在传统的单点故障的问题,且随着规模的扩大,性能并不会受到影响。能够可靠地、自动重均衡、自动恢复集群状态。

Ceph可实现三种存储方式:块设备存储,CephFS 文件系统,对象存储。

那么Ceph能做什么?我们可以把文件想象成粮食,那么Ceph就是一个粮仓,这个粮仓可以通过三种不同的方式来存储粮食。这个粮仓可以容纳很多很多的仓库,每个仓库可以存放很多很多的粮食。


2、 Ceph的功能特性

放弃传统的集中式存储元数据寻址的方式,采用CRUSH算法,数据分布均衡,没有单点故障。
考虑了容灾域的隔离,能够实现各类负载副本放置规则。同样的还是以粮仓为例子。当一个仓库着火了,我们可以通过隔断门将其与其他正常的仓库隔离。避免影响到其他正常的仓库。
能够支持上千个存储节点的规模,支持TB和PB级别的数据。
扩展灵活,就是说支持动态的增加存储节点。
副本数可以灵活控制,默认情况下Ceph的副本数是3个,可以在配置文件中修改副本的数量。


3、 mon组件的概念与作用
Mon的概念:
mon组件是monitor(监视器)的意思,顾名思义就是监视整个集群的运行状态。整个集群的大管家。一个ceph集群中至少要有一个监视器,一般为了保证集群的高可用,最少需要启动3个监视器,这样就可以避免单点故障。
Mon的作用:
负责管理集群内部状态:通过集群运行图(即map,如OSD Map、Monitor Map、PG Map和CRUSH Map )跟踪监控整个集群的运行状态。也就是说客户端连接到一个监视器之后就可以获取到整个集群的运行图,获取到运行图之后就可以确定所有监视器、OSD和mds元数据服务器的位置。
负责授权:Ceph客户端读写OSD或者元数据服务器之前,必须先连到一个监控器,靠当前集群运行图的副本和CRUSH算法,客户端就可以计算出任何对象的位置,因此,客户端有能力直接连到OSD。 这对Ceph的高伸缩性,高性能来说非常重要。
注意:monitor节点的个数=2n+1,必须为奇数个,一个monitor也可以,但是不建议这么做,因为有单点故障,所以最少三个起。

4、 OSD组件的概念和作用

OSD的概念:
OSD(object storage device)是负责存储文件的进程,一般配置成和磁盘一一对应,一块磁盘启动一个OSD进程。主要功能是存储数据、复制数据、平衡数据、恢复数据,以及与其它OSD间进行心跳检查,负责响应客户端请求返回具体数据的进程等;在Ceph集群中所有的文件都会以对象的形式存储到OSD中。OSD与OSD之间是可以相互通信的。
OSD的作用:
客户端在请求OSD进行I/O操作时,必须先获取集群运行图(就是各种map)。也就是说,第一次请求时必须先请求某一个mon节点获取运行图,然后再请求OSD进行I/O操作,以后的话就可以直接请求OSD进行I/O操作。

当客户端发起写入数据A的请求时,会将数据A转成对象然后分发到集群不同节点的OSD中,存储池副本数默认为3个,可以配置。


5、 mgr、 MDS、 RGW组件

mgr主要目标实现 ceph 集群的管理,为外界提供统一的入口,其实质是分担和扩展monitor的部分功能,减轻monitor的负担,让其更好地管理Ceph集群 。

MDS全称Ceph Metadata Server,是CephFS服务依赖的元数据服务。负责保存 文件系统的元数据,管理目录结构。只有需要Cephfs文件系统的时候,才需要此组件,对象存储和块设备存储不需要元数据服务。

RGW全称RADOS gateway,是Ceph对外提供的对象存储服务网关,接口与S3和Swift兼容。

6、 其他组件与概念

PG
PG英文全称Placement Group,中文称之为归置组。,可以将PG看做一个逻辑容器,这个容器包含多个对象,同时这个逻辑对象映射多个OSD上。如果没有PG,在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层,管理海量的对象所消耗的计算资源也是不可想象的。
PG的作用:PG相当于一个虚拟组件,出于集群伸缩,性能方面的考虑。Ceph将每个存储池分为多个PG,如果存储池为副本池类型,并会给该存储池每个PG分配一个主OSD和多个从OSD,当数据量大的时候,PG将均衡的分布在集群中的每个OSD上面。
Object
存储对象,最底层的存储单元,包含元数据和原始数据。

==============================================================

更多Linux、云计算、云原生、大数据、docker、k8s知识,可访问:奇智云课堂

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/125351.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

赛宁网安多领域创新成果亮相第五届“纵横”论坛

10月27日,第五届“纵横”网络空间安全创新论坛在安徽合肥举办,来自中央国家机关、地方政府、军队有关单位、高校、科研院所和部分高新技术企业的领导、专家和代表500余人参加。 本届论坛由军事科学院和国防科技大学等单位共同主办,国防科技大…

JavaScript开发技巧(上篇)

JavaScript开发技巧(上篇) 1、前言2、从数组中删除假值3、数组搜索4、空值合并运算符5、逻辑或赋值运算符6、多值匹配7、三元表达式8、短路评估9、科学计数法10、位运算符11、指数求幂 1、前言 JavaScript中有很多速记技巧,可以缩短代码长度…

【原创】java+swing+mysql个人理财管理系统设计与实现

摘要: 个人理财管理系统是一款帮助用户有效管理个人财务的软件,本文将详细介绍该系统的设计过程,包括功能模块、数据库设计、界面设计等,系统采用javaswingmysql技术组合。 功能分析: 系统主要提供给管理员、用户使…

金蝶云星空创建自动下推并保存公共服务

文章目录 金蝶云星空创建自动下推并保存公共服务创建公共方法按单下推数据按明细行下推数据调用下推操作 调用公共方法 金蝶云星空创建自动下推并保存公共服务 创建公共方法 按单下推数据 /// <summary>/// 获取单据转换数据包/// </summary>public DynamicObjec…

M3重磅来袭 苹果多款新品上架

10月31日早上8点&#xff0c;苹果举行了新品发布会&#xff0c;正式发布了M3、M3 Pro、 M3 Max芯片&#xff0c;以及基于新款芯片打造的14英寸和16英寸MacBook Pro、新款iMac。 我们现在花一分钟&#xff0c;简单了解一下这次的新品。 M3、M3 Pro、M3 Max M3系列芯片就是M2系…

关于测试组件junit切换testng的示例以及切换方式分享

文章目录 概要首先看看junit和testng的区别实践篇摸拟业务逻辑代码简单对象数据层摸拟类业务逻辑层摸拟类后台任务摸拟类 基于springmockjunit基于springmocktestng 示例的差异点junit与testng的主要变动不大,有以下几个点需要注意注解部分在before,after中testng多出按配置执行…

Spring 事务不生效的几种场景

Spring 事务不生效的几种场景 详细内容参考以下链接&#xff0c;这个链接是原文&#xff1a; spring 事务不生效的15中场景 非原创。 以下内容只是为了学习&#xff0c;加深印象&#xff0c;仅作为个人学习笔记&#xff0c; 请支持原创&#xff0c;内容请点击 spring 事务不生效…

链动2+1模式:白酒产品的营销新策略

链动21模式是一种创新的营销模式&#xff0c;结合白酒产品更能发挥其优势。该模式通过独特的身份晋升和奖励机制&#xff0c;快速建立销售渠道&#xff0c;提高用户粘性。 一、核心机制 身份晋升机制&#xff1a;用户购买指定499白酒产品后成为代理&#xff0c;再邀请两位用户…

新风机如何联动?

数据中心的运行会产生大量的热量&#xff0c;因为其中包含了大量的服务器、存储设备以及网络设备等&#xff0c;它们需要消耗大量的电力来进行计算和数据处理。为了保证这些设备运行的稳定性和性能&#xff0c;数据中心必须维持适宜的温度和湿度。 新风系统可以在数据中心中起到…

小米澎湃OS发布,雷军小米的“统一”大棋局

千呼万唤始出来。2023年10月26日&#xff0c;小米澎湃OS终于揭开面纱。 雷军在主题为“跨越时刻”的发布会上&#xff0c;正式发布了小米澎湃OS。面对这款历时七年打造的全新操作系统&#xff0c;雷军难掩兴奋&#xff0c;他感慨道&#xff1a;“我心澎湃”。 小米新操作系统取…

微信小程序项目案例之导游证考试刷题小程序

前言 很多计算机专业的同学在做毕设选题时不知道该如何选题&#xff0c;有的同学是已经选择了要开发一款小程序&#xff0c;但是又不知道开发哪类小程序。本篇将为大家介绍一个小程序的开发方向&#xff0c;考试刷题类小程序是目前比较火的小程序项目之一&#xff0c;在小程序…

CB2-2CARD的openSUSE远程SSH登录提示优化

CB2-2CARD的openSUSE远程SSH登录提示优化 1. 源由2. 优化内容2.1 去掉Password/banner前后的prompts提示语句2.2 增加logo登录界面2.3 增加系统运行情况简单汇报2.4 增加banner 3. 优化效果 1. 源由 之前运行的CB2-2CARD的openSUSE安装&NAS环境配置服务器已经运行也有段时…

(c语言进阶)字符串函数、字符分类函数和字符转换函数

一.求字符串长度 1.strlen() (1)基本概念 头文件&#xff1a;<string.h> (2)易错点&#xff1a;strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…

审核 Microsoft SQL Server 日志

手动审核数据库活动是一项艰巨的任务&#xff0c;有效完成审计的最佳方法是使用简化和自动化数据库监控的综合解决方案&#xff0c;该解决方案还应使数据库管理员能够监控、跟踪和即时识别任何操作问题的根本原因&#xff0c;并实时检测对机密数据的未经授权的访问。 什么是 S…

前端面试 面试多起来了

就在昨天 10.17 号,同时收到了三个同学面试的消息。他们的基本情况都是双非院校本科、没有实习经历、不会消息中间件和 Spring Cloud 微服务,做的都是单体项目。但他们投递简历还算积极,从今年 9 月初就开始投递简历了,到现在也有一个多月了。 来看看,这些消息。 为…

找到Linux中最大的目录和文件

寻找下一层最大的文件夹 du -h --max-depth1Linux上查找最大文件的3种方法 第一种&#xff1a;ls 最简单的方法就是借助 ls 命令&#xff0c;因为 ls 命令本身输出是带文件大小信息的。 比如&#xff0c;我要列出 /data/log/ 目录中的20个最大文件&#xff0c;可以&#xf…

中文编程工具免费版下载,中文开发语言工具免费版下载

中文编程工具免费版下载&#xff0c;中文开发语言工具免费版下载 中文编程工具开发的实际部分案例如下图 编程系统化课程总目录及明细&#xff0c;点击进入了解详情。 https://blog.csdn.net/qq_29129627/article/details/134073098?spm1001.2014.3001.5502

RabbitMQ消息中间件

一、初始MQ 首先了解一下微服务间通讯有同步和异步两种方式&#xff1a;- 同步通讯&#xff1a;是指两个或多个系统在进行信息交换时&#xff0c;必须在同一时刻进行操作 - 异步通讯&#xff1a;是指两个或多个系统之间的通讯方式&#xff0c;其中发送方和接收方不是在同一时刻…

星环科技分布式向量数据库Transwarp Hippo正式发布,拓展大语言模型时间和空间维度

随着企业、机构中非结构化数据应用的日益增多以及AI的爆发式增长所带来的大量生成式数据&#xff0c;所涉及的数据呈现了体量大、格式和存储方式多样、处理速度要求高、潜在价值大等特点。但传统数据平台对这些数据的处理能力较为有限&#xff0c;如使用文件系统、多类不同数据…

MySQL数据库容量规划与扩容方法详解

一、前言 随着业务的增长&#xff0c;MySQL数据库的容量需求也会不断增加&#xff0c;因此&#xff0c;合理的容量规划和扩容方法显得尤为重要。本文将介绍如何根据业务需求进行MySQL数据库容量规划&#xff0c;并给出具体的扩容方法。 二、容量规划原则 根据业务需求预测未…