一、Ceph 介绍
在当今数据爆炸式增长的时代，企业对于可靠、可扩展的存储解决方案的需求日益迫切。Ceph 作为一种开源的、可伸缩的分布式存储解决方案，正逐渐成为企业级存储领域的热门选择。Ceph是一种由Radicalbit公司开发的开源分布式存储系统，它通过将数据分布在一个或多个存储节点上，实现了高可靠性、高性能和高扩展性。
Ceph环境的核心组件包括：Ceph OSD、Ceph Monitor、Ceph MDS、CEPH MGR。
-
Ceph OSDs (
Object Storage Daemons)：OSD是Ceph集群中负责存储实际数据的守护进程。每个OSD守护进程负责管理一个存储设备（如硬盘或分区）。OSD负责处理数据复制、恢复、再平衡和数据的分发。在Ceph集群中，通常会有大量的OSD，它们分布在不同的服务器上，以确保高可用性和数据冗余。 -
Ceph Monitors (
MONs)：Monitor维护集群的状态信息，包括映射信息（如数据在哪些OSD上）、OSD状态、归置组（Placement Group,PG）状态等。Monitor负责在发生故障时，确保集群能够自动恢复。为了高可用性，通常会有多个Monitor实例，它们之间通过Paxos算法保持状态一致。 -
Ceph Metadata Server (
MDS)：MDS仅用于Ceph文件系统（CephFS）。它负责存储文件系统的元数据，如目录树、文件权限等信息。MDS能够提高文件系统的性能和可扩展性。在CephFS集群中，可以有一个或多个MDS实例，以支持大规模的并行文件系统访问。 -
Ceph Manager (
MGR)：Manager是一个相对较新的组件，它在Ceph Luminous版本（即12.0版本）中首次被引入。Manager提供了一个集中的服务，用于管理和监控Ceph集群的各个方面。它收集和存储集群的监控数据，提供报警和通知，管理服务，执行集群管理任务，生成集群报告，并提供一个REST API。
Ceph支持多种存储类型，以满足不同应用场景的需求。主要包括：对象存储、块存储、文件系统存储：
- 对象存储：
Ceph提供了一个名为RADOSGW（RADOS Gateway）的组件，它实现了符合Amazon S3和Swift API的接口，允许用户通过HTTP/HTTPS协议存储和检索对象数据。对象存储适合于需要高可用性和可扩展性的应用，如备份、归档和多媒体内容分发。 - 块存储：
Ceph的块存储服务称为RBD（RADOS Block Device），它提供了一个高性能、可扩展的块存储解决方案。RBD可以在物理服务器或虚拟机中作为磁盘使用，支持快照、克隆和thin-provisioning等功能。块存储适用于需要持久化存储的应用，如虚拟机镜像和数据库。 - 文件系统存储：
Ceph提供了一个名为CephFS的POSIX-compliant文件系统。CephFS允许用户将Ceph集群作为传统的网络文件系统挂载到服务器上，支持文件层次结构和权限管理。文件系统存储适用于需要共享文件存储的应用，如企业文件共享和协同工作环境。
下面开始在 3 台机器上，实验搭建 ceph 环境。
二、Ceph 集群环境搭建
部署规划：
| ip | 别名 | 角色 |
|---|---|---|
| 11.0.1.133 | node1 | osd、mds、mon、mgr、ceph-deploy |
| 11.0.1.134 | node2 | osd、mds |
| 11.0.1.135 | node3 | osd、mds |
1. 修改 /etc/hosts 增加映射（3台机器）
vi /etc/hosts
11.0.1.133 node1
11.0.1.134 node2
11.0.1.135 node3
2. 关闭防火墙（3台机器）
#关闭防火墙
systemctl stop firewalld.service
#禁止防火墙开启自启
systemctl disable firewalld.service
3. 配置ssh免密登录（node1）
#4个回车 生成公钥、私钥
ssh-keygen
# 将公钥给三台主机
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
4. 集群时间同步（3台机器）
yum -y install ntpdate
ntpdate ntp4.aliyun.com
5. 添加 Ceph 阿里源（3台机器）
vi /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=0
priority=1[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=0
priority=1[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-mimic/el7/SRPMS
enabled=1
gpgcheck=0
priority=1
清除 yum 缓存
yum clean all
6. 安装 ceph-deploy 组件（node1）
yum -y install ceph-deploy
7. 初始化 ceph 集群信息（node1）
安装所需依赖：
yum install -y python-setuptools
创建配置目录
mkdir /etc/ceph && cd /etc/ceph
初始化
ceph-deploy new node1
修改 ceph.conf ，默认 osd 最少3个节点，这里可以改成2个，在 [global] 下新增如下配置：
osd_pool_default_size = 2
8. 在所有节点安装 ceph（node1）
该操作会自动使用 ssh 连接，需要确保配置好了免密登录。
ceph-deploy install node1 node2 node3
验证安装，查看 ceph 版本
ceph -v
9. 创建 mon 监控节点（node1）
ceph-deploy mon create-initial
将配置文件信息同步到所有节点
ceph-deploy admin node1 node2 node3
查看集群状态：
ceph -s
已经有一个 mon 了。
11. 部署 mgr（node1）
ceph-deploy mgr create node1
查看集群状态：
ceph -s
10. 部署osd服务（node1）
查看磁盘：
lsblk
我这里使用未挂载的 /dev/sdb 磁盘
创建 osd
ceph-deploy osd create node1 --data /dev/sdb
再次查看磁盘：
已经被 ceph 使用。
同样，将 node2、node3 的磁盘创建 osd ：
ceph-deploy osd create node2 --data /dev/sdb
ceph-deploy osd create node3 --data /dev/sdb
查看集群状态：
ceph -s
11. 部署 mds （node1）
ceph-deploy mds create node1 node2 node3
到此 Ceph 的集群就基本搭建完毕。
三、CephFS 创建 及 客户端挂载
1. 创建存储池
创建数据池 cephfs_data ，用户存储数据
ceph osd pool create cephfs_data 128
创建 cephfs_metadata ，用于存储元数据：
ceph osd pool create ceph_metadata 60
2. 创建 FS
ceph fs new cephfs cephfs_data ceph_metadata
查看集群状态：
ceph -s
3 客户端挂载
首先在 node1 查看客户端的秘钥：
cat ceph.client.admin.keyring
下面在客户端安装依赖
yum -y install epel-release
yum -y install ceph-fuse
yum -y install ceph-common
创建配置目录：
mkdir /etc/ceph && cd /etc/ceph
将上面查出来的 key 写入 admin.key 文件中：
echo 'AQDRNR5mkX0LCBAArZ4TgYuB19g1EfXK+aiktg==' >>admin.key
创建挂载目录：
mkdir /cephfs_data
挂载：
mount -t ceph node1:6789:/ /cephfs_data -o name=admin,secretfile=/etc/ceph/admin.key
查看挂载：
df -hT
