1.Ceph集群使用RBD块存储与K8S集成简介

RBD（Reliable Block Device）组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层，提供的块存储服务可以形成一个裸磁盘，提供格式化、映射的功能，挂载到服务器中。

这类的客户端包括虚拟化KVM和云计算OpenStack。

RBD组件支持存储空间的动态扩容，也可以借助RADOS实现快照、副本和一致性。

客户端访问RBD的方式：

• 通过内核模块rbd.ko将块存储映射成本地的一块磁盘，例如/dev/vdbx等等，可以进行格式化和分区。
• 通过librbd接口，KVM虚拟化就是使用这种接口。

在K8S集群中为Pod资源提供数据持久化，大致分为三种解决方案：

• Volume
  • Volume持久化有三种类型分别是EmptyDir、HostPath、NFS。
  • Volume是K8S集群中较为简单的数据持久化方案，无需创建其他资源，直接在Pod资源编排文件中声明Volume卷，即可挂载使用。
• PV、PVC
  • PV和PVC是一种高级类型的持久化存储费方案，PV负责与底层存储系统进行对接，PVC从PV中分配一定的资源，最后由PVC挂载到Pod中。
• StorageClass
  • 更加高级的一种持久化存储方案，由StorageClass提供一个数据持久化资源池，当Pod需要持久化数据时，直接从StorageClass中自动创建出PV和PVC，最后挂载到Pod资源中。

无论使用哪种持久化方案，最常用的方式是通过NFS或者NAS来实现，今天通过Ceph分布式集群中的RBD块存储来实现Pod数据的持久化。

使用RBD块存储作为Pod资源数据持久化时，只有集群中某一个Node节点可以挂载一块RBD块存储设备，例如当Node1节点挂载了RBD块设备后，Node1节点中的所有Pod都可以共享这块RBD中的数据，但是其余Node节点都无法挂载这块RBD存储了。

RBD块存储设备无法跨节点使用，只有挂载RBD块存储的Node节点中的Pod资源可以使用，其余节点的Pod资源无法使用。

Ceph集群默认开启了CEPHX的认证，任何存储类型想要是有Ceph作为底层存储，都需要通过用户认证才可以正常使用。

2.Ceph集群RBD块存储与K8S PV存储卷集成

PV、PVC高级存储在K8S集群中的应用极多，与Volume集成方案类似。

大致实现步骤：

1）首先在Ceph集群中创建一个Pool资源池，专门为K8S集群创建块存储设备。

2）然后创建一个集群认证用户，用于使K8S连接到Ceph集群的块存储设备。

3）将认证用户的Key以Secret资源控制器的形式创建在集群中。

4）所有的K8S集群都需要去安装Ceph的命令。

5）在集群中创建一个PV存储，在PV的资源编排文件中配置Ceph集群块存储设备的信息。

6）创建PVC存储卷，与PV进行关联。

7）最后编写Pod资源编排文件，使用PVC作为存储卷，将块设备挂载到Pod中，实现数据持久化。

2.1.创建K8S集群PV使用的块存储

1.创建一个Pool资源池
[root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
pool 'kubernetes_data' created2.在资源池中创建块存储设备
[root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_pv_data.img --size 10G3.查看创建的块存储设备
[root@ceph-node-1 ~]# rbd -p kubernetes_data ls
rbd_pv_data.img
rbd_volume_data.img

2.2.创建K8S集群访问RBD块存储设备的认证用户

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

[root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
[client.kubernetes]key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

[root@ceph-node-1 ~]# ceph auth list 

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。

2.3.将认证用户的Key存储在K8S Secret资源中

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1）将key通过Base64进行加密

[root@ceph-node-1 ~]# echo AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A== | base64
QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

2）将加密后的Key存储在Secret资源中

[root@k8s-master pv]# vim rbd-volume-secret.yaml
apiVersion: v1
kind: Secret
metadata:name: rbd-volume-secret
type: "kubernetes.io/rbd"
data:key: QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

3）创建Secret资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

[root@k8s-master pv]# kubectl apply -f rbd-volume-secret.yaml
secret/rbd-volume-secret created[root@k8s-master pv]# kubectl get secret
NAME                  	TYPE                                  DATA   AGE
rbd-volume-secret       kubernetes.io/rbd                     1      16s
default-token-fbknq   	kubernetes.io/service-account-token   3      60d

2.4.在K8S集群的所有节点中安装Ceph命令

不安装ceph命令将无法成功挂载块设备。

[root@k8s-master ~]# yum -y install ceph-common
[root@k8s-node1 ~]# yum -y install ceph-common
[root@k8s-node2 ~]# yum -y install ceph-common

2.5.创建PV及PVC资源使用RBD作为底层存储

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的RBD块存储设备，PVC资源配置不需要任何变动。

1）编写资源编排文件

[root@k8s-master pv]# vim rbd-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: rbd-pv
spec:capacity:storage: 10GiaccessModes:- ReadWriteManyrbd:										#指定使用rbd块存储类型monitors:        						  #指定monitor地址- 192.168.20.20:6789- 192.168.20.21:6789- 192.168.20.22:6789pool: kubernetes_data						#指定使用的资源池名称image: rbd_pv_data.img						#指定使用的块存储名称user: kubernetes							#连接块存储设备的用户secretRef:								    #存储用户key的secret资源name: rbd-volume-secretfsType: ext4							    #文件系统类型persistentVolumeReclaimPolicy: RecyclestorageClassName: rbd						     #存储类型填写rbd[root@k8s-master pv]# vim rbd-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: rbd-pvc
spec:accessModes:- ReadWriteManyresources:requests:storage: 10GistorageClassName: rbd

2）在集群中创建PV和PVC资源

1.创建资源
[root@k8s-master pv]# kubectl apply -f rbd-pv.yaml
persistentvolume/rbd-pv created
[root@k8s-master pv]# kubectl apply -f rbd-pvc.yaml
persistentvolumeclaim/rbd-pvc created2.查看资源的状态
[root@k8s-master pv]# kubectl get pv,pvc
NAME                           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                  STORAGECLASS   REASON   AGE
persistentvolume/rbd-pv   	   10Gi       RWX            Recycle          Bound    default/rbd-pvc   rbd                     24sNAME                                 STATUS   VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/rbd-pvc        Bound    rbd-pv   		10Gi       RWX            rbd            24s

2.6.创建Pod资源挂载PV存储卷并写入数据

1）编写Pod的资源编排文件

虽然PV底层使用的RBD作为存储，但是Pod使用PVC的方式无任何变化。

[root@k8s-master pv]# vim rbd-pv-pod.yaml
apiVersion: v1
kind: Pod
metadata:name: rbd-pv-pod
spec:containers:- image: nginx:1.15name: rbd-pv-podports:- name: webcontainerPort: 80protocol: TCPvolumeMounts:- name: rbd-pvcmountPath: /datavolumes:- name: rbd-pvcpersistentVolumeClaim: claimName: rbd-pvc      

2）在集群中创建Pod资源

[root@k8s-master pv]# kubectl apply -f rbd-pv-pod.yaml
pod/rbd-pv-pod created[root@k8s-master pv]# kubectl get pod
NAME              READY   STATUS    RESTARTS   AGE
rbd-pv-pod        1/1     Running   0          3m16s

3）进入Pod中写入数据

[root@k8s-master pv]# kubectl exec -it rbd-pv-pod bash
root@rbd-pv-pod:/# df -hT /data 
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/rbd0      ext4  9.8G   37M  9.7G   1% /dataroot@rbd-pv-pod:/# touch /data/file{1..9}.txtroot@rbd-pv-pod:/# ls /data/
file1.txt  file2.txt  file3.txt  file4.txt  file5.txt  file6.txt  file7.txt  file8.txt	file9.txt  lost+found

任何类型的存储卷使用RBD的方式都一样，都会在Pod所在宿主机中挂载RBD块设备映射的磁盘，然后挂载到具体的Pod中，无法跨主机使用。