一、什么是ceph
ceph是当前最热门的分布式存储系统之一,是软件定义存储(SDS,SoftwareDefinedStorage)解决方案中的典范。其具备良好的可靠性、可扩展性,应用范围包括块存储(RBD,RadosBlockDevice)、文件存储(CephFS,CephFileSystem)和对象存储(RADOSGW,Reliable、Autonomic、Distributed、ObjectStorageGateway),被广泛应用于云计算底层IAAS平台,更是OpenStack首选的后端存储,不管是互联网企业还是金融等传统行业,都被广泛应用。
ceph使用C++语言开发,采用分布式、无中心化的设计,具备横向扩展能力和故障容灾能力,每个组件都能够线性扩展且不存在单点故障,支持到EB级的存储扩展,对应用程序提供标准统一的访问入口。
ceph每半年发布一个版本,版本分为长期稳定版(LTS)和开发版本,同时会维护多个稳定版本,推进bug的修复。目前最新的版本是v14.2.2 Nautilus,历史的一些版本如下:
可以看到,ceph基本是按照半年一个版本的速度更新,较为稳定。
二、ceph功能组件
Ceph对于三大存储类型的支持是依赖底层的RADOS存储系统,整体架构上包含了OSD、MDS、Monitor等核心功能组件,如下图所示:
Ceph整体上包含了很多个模块,各个模块均负责不同的功能,以下是一些重点模块:
- Ceph OSD
OSD全称是Object Storage Device,用于数据存储、复制、恢复,上报相关数据给Monitor,是Ceph的核心组件之一。一个Ceph集群至少需要两个Ceph OSD实现active+clean的健康状态。一个磁盘、一个分区都可以作为一个OSD,所以实验环境下可以在单机上搭建。
- Ceph Monitor
Ceph Monitor用于整个集群的状态监控和决策,实现整个集群视图的一致性,这是Ceph无中心化设计的一个重点。包含了Monitor map、OSD map、PG map和CRUSH map。
- Monitor map
Monitor节点也是可以横向扩展的,Monitor map包含所有Monitor节点的信息,包括集群ID,主机名,IP和端口等信息。 - OSD map
OSD map包含Ceph Pool的id、名称、类型,副本以及PGP信息,包含OSD的数量、状态、最细清理间隔、OSD所在主机等信息。多个OSD形成一个Ceph Pool。
- PG map
Placement Group map包含当前的PG版本、时间戳、空间使用比例以及每个PG的基本信息。 - CRUSH map
CRUSH是英文Controlled Replication Under Scalable Hashing的缩写,是一种可扩展哈希发的可控复制算法。CRUSH map存储集群存储设备信息,故障层次结构以及存储数据时失败域规则信息。 - Ceph MDS
Ceph Metadata Server,顾名思义,是包含Ceph文件系统(Ceph FS)的元数据的模块。ceph的块存储和对象存储都不需要用到MDS。
三、技术架构
Ceph底层都是依赖于RADOS,提供了一个可靠的具有自我修复能力的分布式存储,如下图所示:
- LIBRADOS
RADOS的应用程序库,提供应用程序的直接访问,提供了Java和Python等类库,这是接口统一性的体现。
- RADOSGW
RADOSGW是基于restful的网关,兼容S3和Swift,提供统一的访问入口,利用RADOSGW可以实现跨机房的访问和基于近端的负载均衡。
- RBD
RBD提供Ceph的块设备的功能,其通过内核与QEMU/KVM交互来创建一个块设备挂载到VM上提供使用。
- Ceph FS
Ceph FS提供了一个兼容POSIX的文件系统,值得注意的是因为历史原因,Ceph FS的支持比较弱,功能还不够完善。
四、安装部署
Ceph-DeployCeph为了方便用户安装Ceph集群简化过程,提供了Ceph-Deploy工具,通过配置免密的SSH自动登录到服务器 安装相关的组件,过程十分的简便。
Step-By-Step Deploy除了使用Ceph-Deploy之外,官方亦提供了一步步手工安装的方案,过程比较复杂麻烦,很多文章都建议初学 者直接使用Ceph-Deploy,笔者却认为手工一步步安装的方案虽然复杂但是可以对Ceph集群理解更深,安装过程中不免遇到各种各样的问题,一步步去解决以后,绝对会收获良心。
本文是对Ceph的整体技术架构的介绍,后续会对ceph的安装部署、各模块详细功能和原理进行分析,欢迎继续关注。