1 volume
1.1 介绍
在容器中的磁盘文件是短暂的,当容器崩溃时,Kubelet会重新启动容器,但容器运行时产生的数据文件都将会丢失,之后容器会以最干净的状态启动。另外,当一个Pod运行多个容器时,各个容器可能需要共享一些文件,诸如此类的需求都可以使用Volume解决。Pod只需要通过.spec.volumes字段指定为Pod提供的卷,然后在容器中配置块,使用.spec.containers.volumeMounts字段指定卷挂载的目录即可。
在Kubernetes中,Volume也支持配置许多常用的存储,用于挂载到Pod中实现数据的持久化。
Kubernetes Volume支持的卷的类型有很多,以下为常用的卷:
- CephFS
- GlusterFS
- ISCSI
- Cinder
- NFS
- RBD
- HostPath
当然,也支持一些Kubernetes独有的类型:
- ConfigMap:用于存储配置文件
- Secret:用于存储敏感数据
- EmptyDir:用于一个Pod内多个容器的数据共享
- PersistentVolumeClaim:对PersistentVolume的申请
以上列举的是一些比较常用的类型,其他支持的类型可以查看Volume的官方文档
https://kubernetes.io/docs/concepts/storage/volumes/
下面介绍集中常见的volume卷。
1.2 emptyDir
EmptyDir是一个特殊的Volume类型,与上述Volume不同的是,如果删除Pod,emptyDir卷中的数据也将被删除,所以一般emptyDir用于Pod中的不同Container共享数据,比如一个Pod存在两个容器A和B,容器A需要使用容器B产生的数据,此时可以采用emptyDir共享数据,类似的使用如Filebeat收集容器内程序产生的日志。
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: registry.k8s.io/test-webservername: test-containervolumeMounts:- mountPath: /cachename: cache-volumevolumes:- name: cache-volumeemptyDir:sizeLimit: 500Mi
1.3 HostPath
HostPath卷可将节点上的文件或目录挂载到Pod上,用于实现Pod和宿主机之间的数据共享,常用的示例有挂载宿主机的时区至Pod,或者将Pod的日志文件挂载到宿主机等。
在配置HostPath时,有一个type的参数,用于表达不同的挂载类型,HostPath卷常用的type(类型)如下:
- type为空字符串:默认选项,意味着挂载hostPath卷之前不会执行任何检查
- DirectoryOrCreate:如果给定的path不存在任何东西,那么将根据需要创建一个权限为0755的空目录,和Kubelet具有相同的组和权限
- Directory:目录必须存在于给定的路径下
- FileOrCreate:如果给定的路径不存储任何内容,则会根据需要创建一个空文件,权限设置为0644,和Kubelet具有相同的组和所有权
- File:文件,必须存在于给定路径中
- Socket:UNIX套接字,必须存在于给定路径中
- CharDevice:字符设备,必须存在于给定路径中
- BlockDevice:块设备,必须存在于给定路径中。
apiVersion: v1
kind: Pod
metadata:name: hostpath-example-linux
spec:os: { name: linux }nodeSelector:kubernetes.io/os: linuxcontainers:- name: example-containerimage: registry.k8s.io/test-webservervolumeMounts:- mountPath: /fooname: example-volumereadOnly: truevolumes:- name: example-volume# mount /data/foo, but only if that directory already existshostPath:path: /data/foo # directory location on hosttype: Directory # this field is optional
1.4 nfs
和emptyDir、HostPath的配置方法类似,NFS的Volume配置也是在Volumes字段中配置的,和emptyDir不同的是,NFS属于持久化存储的一种,在Pod删除或者重启后,数据依旧会存储在NFS节点上。要使用nfs,k8s的node节点上需要安装好nfs客户端软件。
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: registry.k8s.io/test-webservername: test-containervolumeMounts:- mountPath: /my-nfs-dataname: test-volumevolumes:- name: test-volumenfs:server: my-nfs-server.example.compath: /my-nfs-volumereadOnly: true
2 PersistentVolume
2.1 介绍
虽然volume实现了持久化存储,但是诸多高级特性还是无法实现。且没有生命周期的管理。在实际使用中volume面临的问题如下:
- 当某个数据卷不再被挂载使用时,里面的数据如何处理?
- 如果想要实现只读挂载如何处理?
- 如果想要只能有一个Pod挂载如何处理?
为此k8s引入了两个新的API资源:PersistentVolume和PersistentVolumeClaim。
- PersistentVolume(简称PV)是由Kubernetes管理员设置的存储
- PersistentVolumeClaim(简称PVC)是对PV的请求,表示需要什么类型的PV。
和单独配置Volume类似,PV也可以使用NFS、GFS、CEPH等常用的存储后端,并且可以提供更加高级的配置,比如访问模式、空间大小以及回收策略等。
目前PV的提供方式有两种:静态或动态。
- 静态PV由管理员提前创建
- 动态PV无须提前创建,由storageclass创建
pv属于集群资源,没有namespace隔离性。同一个pv可以被不同namespace中的资源访问。
pvc有namespace隔离性,只能被同一namespace中的资源使用,创建pvc时如果不指定namespace,则默认创建在default命名空间中
2.2 pv回收策略
当用户使用完volume(pv本质上也是volume)时,可以删除PVC对象,从而通过回收策略回收pv资源。目前回收策略有以下三种。
- Retain:保留,该策略允许手动回收资源,当删除PVC时,PV仍然存在,Volume被视为已释放,管理员可以手动回收卷。不指定回收策略默认为retain。
- Recycle(k8s1.14版本开始已废弃):回收,如果Volume插件支持,Recycle策略会对卷执行rm -rf清理该PV,并使其可用于下一个新的PVC,目前只有NFS和HostPath支持该策略。
- Delete:删除,如果Volume插件支持,删除PVC时会同时删除PV,动态卷默认为Delete,目前支持Delete的存储后端包括AWS EBS、GCE PD、Azure Disk、OpenStack Cinder等。
对于 Kubernetes 1.29,仅nfs和hostPath卷类型支持回收。
2.3 pv访问策略
在实际使用PV时,可能针对不同的应用会有不同的访问策略,比如某类Pod可以读写,某类Pod只能读,或者需要配置是否可以被多个不同的Pod同时读写等,此时可以使用PV的访问策略进行简单控制,目前支持的访问策略如下:
- ReadWriteOnce:可以被单节点以读写模式挂载,命令行中可以被缩写为RWO。
- ReadOnlyMany:可以被多个节点以只读模式挂载,命令行中可以被缩写为ROX。
- ReadWriteMany:可以被多个节点以读写模式挂载,命令行中可以被缩写为RWX。
- ReadWriteOncePod:只能被一个Pod以读写的模式挂载,命令中可以被缩写为RWOP(1.22以上版本)。
虽然PV在创建时可以指定不同的访问策略,但是也要后端的存储支持才行。比如一般情况下大部分块存储是不支持ReadWriteMany的,具体后端存储支持的访问模式可以参考
https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes。
2.4 基于nfs或nas创建pv
[root@k8s-master01 ~]# cat pv-nfs.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: pv-nfs ##pv名
spec:capacity:storage: 5Gi ##pv的容量volumeMode: Filesystem ##卷的模式,目前支持Filesystem(文件系统) 和 Block(块),其中Block类型需要后端存储支持,默认为文件系统accessModes:- ReadWriteOnce ##pv的访问模式persistentVolumeReclaimPolicy: Recycle ##pv的回收策略storageClassName: nfs-slow ##存储类型的名称,pvc通过该名字访问到pvnfs: ##pv的类型path: /data/nfs ##nfs服务器共享的目录server: 172.18.102.233 ##nfs服务器ip地址
[root@k8s-master01 ~]# kubectl create -f pv-nfs.yaml
persistentvolume/pv-nfs created
[root@k8s-master01 ~]# kubectl get persistentvolume
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pv-nfs 5Gi RWO Recycle Available nfs-slow 14s
2.5 创建hostpath类型的pv
一般不推荐使用该类型的pv,因为这种情况下使用的是宿主机的一个目录,pod和宿主机强绑定,不再具备高可用性。这种情况下需要利用污点,让pod和宿主机强绑定。
kind: PersistentVolume
apiVersion: v1
metadata:name: task-pv-volumelabels:type: local
spec:storageClassName: hostpathcapacity:storage: 10GiaccessModes:- ReadWriteOncehostPath:path: "/mnt/data"
2.6 创建cephrbd类型的pv
需要提前在ceph侧创建好密钥,具体配置可参考我的另一篇文章
K8S使用开源CEPH作为后端StorageClass
apiVersion: v1
kind: PersistentVolume
metadata:name: ceph-rbd-pv
spec:capacity:storage: 1GistorageClassName: ceph-fastaccessModes:- ReadWriteOncerbd:monitors: ##cephmon节点的ip,端口通常为6789- 192.168.1.123:6789- 192.168.1.124:6789- 192.168.1.125:6789pool: rbd ##rbd存储池的名称,可以使用ceph osd pool ls查看image: ceph-rbd-pv-test ##rbd块名称,可以使用rbd create POOL_NAME/IMAGE_NAME --size 1024创建,使用rbd list POOL_NAME查看user: admin #Rados的用户名,默认是adminsecretRef: #用于验证Ceph身份的密钥name: ceph-secretfsType: ext4 #文件类型,可以是ext4、XFS等readOnly: false #是否是只读挂载
2.7 pv的状态
- Available:可用,没有被PVC绑定的空闲资源。
- Bound:已绑定,已经被PVC绑定。
- Released:已释放,PVC被删除,但是资源还未被重新使用。
- Failed:失败,自动回收失败。
3 PersistentVolumeClaim
pv创建好了,如何使用呢,这时就需要用到pvc,pvc可以去申请pv资源。
pvc中定义了要使用的存储类型,存储空间大小以及存储的访问模式,例如申请一个大小为5Gi且只能被一个Pod只读访问的nfs存储。
下图是一个典型的pod使用pv作为volume的流程。
管理员创建pv,用户创建pvc和pv进行绑定,pod使用pvc申请到的pv资源作为volume来持久化存储数据。
那么pvc和pv是如何进行绑定的呢,主要依赖以下参数
参数 | 描述 |
---|---|
Storageclass | PV 与 PVC 的 storageclass 类名必须相同(或同时为空)。 |
AccessMode | 主要定义 volume 的访问模式,PV 与 PVC 的 AccessMode 必须相同。 |
Size | 主要定义 volume 的存储容量,PVC 中声明的容量必须小于等于 PV,如果存在多个满足条件的 PV,则选择最小的 PV 与 PVC 绑定。 |
pvc和pv绑定后,我们就可以通过在pod中使用pvc来申请pv资源了。只需要在pod的yaml文件中配置一个persistentVolumeClaim类型的volumes,claimName配置为PVC的名称即可
下面详细介绍下如何创建和使用pvc
3.1 创建pvc与pv进行绑定
3.1.1 创建pv
[root@k8s-master01 ~]# cat pv-nfs.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: pv-nfs
spec:capacity:storage: 5Gi #pv的容量volumeMode: Filesystem accessModes:- ReadWriteOnce ##pv的访问模式persistentVolumeReclaimPolicy: Recycle storageClassName: nfs-slow ##存储类型的名称,pvc通过该名字访问到pvnfs: path: /data/nfs server: 172.18.102.233
3.1.2 创建pvc
[root@k8s-master01 ~]# cat nfs-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:name: nfs-pvc-claim ##pvc名
spec:storageClassName: nfs-slow ##pv的类名accessModes:- ReadWriteOnce ##访问模式,和pv要一致resources:requests:storage: 3Gi ##请求的容量大小,不能超过pv的大小
检查是否成功绑定
[root@k8s-master01 ~]# kubectl create -f pv-nfs.yaml
[root@k8s-master01 ~]# kubectl create -f nfs-pvc.yaml
persistentvolumeclaim/nfs-pvc-claim created
[root@k8s-master01 ~]#
[root@k8s-master01 ~]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
nfs-pvc-claim Bound pv-nfs 5Gi RWO nfs-slow 6s
3.2 使用pvc
pod绑定pvc,创建pod时pvc会自动去pv处申请资源作为pod的volume
[root@k8s-master01 ~]# cat pod-nfs-pvc.yaml
kind: Pod
apiVersion: v1
metadata:name: nfs-pv-pod
spec:volumes:- name: nfs-pv-storagepersistentVolumeClaim:claimName: nfs-pvc-claim ##和pvc的名称一致containers:- name: nfs-pv-containerimage: nginxports:- containerPort: 80name: "http-server"volumeMounts:- mountPath: "/usr/share/nginx/html"name: nfs-pv-storage
检查pod是否成功挂载volume资源
[root@k8s-master01 ~]# kubectl create -f pod-nfs-pvc.yaml
pod/nfs-pv-pod created
[root@k8s-master01 ~]# kubectl exec -it nfs-pv-pod -- bash
root@nfs-pv-pod:/# ls /usr/share/nginx/html/
root@nfs-pv-pod:/# df -h
Filesystem Size Used Avail Use% Mounted on
overlay 39G 22G 18G 57% /
tmpfs 64M 0 64M 0% /dev
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
shm 64M 0 64M 0% /dev/shm
/dev/vda2 39G 22G 18G 57% /etc/hosts
172.18.102.233:/data/nfs 39G 22G 18G 57% /usr/share/nginx/html
tmpfs 3.8G 12K 3.8G 1% /run/secrets/kubernetes.io/serviceaccount
tmpfs 2.0G 0 2.0G 0% /proc/acpi
tmpfs 2.0G 0 2.0G 0% /proc/scsi
tmpfs 2.0G 0 2.0G 0% /sys/firmware
4 动态存储storageclass
在介绍pv那一节我们就提到,创建pv有静态和动态两种方式。前面提到的一直是静态创建pv的方式,即管理员手动创建pv。这一节介绍动态创建的方式,即通过storageclass动态创建pv,有了storageclass,我们不需要在手动创建pv,只需要创建好storageclass,再将pvs和storageclass绑定,即可通过storageclass动态的创建pv。
每个storageclass都包含下面几个参数
- provisioner:提供pv卷的存储类型
- parameters:与后端存储对接时使用的参数,取决于provisioner中指定的存储。如ceph存储可以指定cluster id和pool id等。
- reclaimPolicy:指定通过storageclass创建出来的pv的回收策略。可以是 Delete 或者 Retain。如果 StorageClass 对象被创建时没有指定 reclaimPolicy,它将默认为 Delete。
- mountOptions:指定挂载选项,当 PV 不支持指定的选项时会直接失败。比如 NFS 支持 hard 和 nfsvers=4.1 等选项。
4.1 创建storageclass
本例使用ceph类型的storageclass
[root@k8s-master02 kubernetes]# cat storageclass.yaml
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:clusterID: 395b7a30-eb33-460d-8e38-524fc48c58cb ##ceph集群IDpool: k8s ##ceph集群的pool名imageFeatures: layering ##定义创建的rbd featurescsi.storage.k8s.io/provisioner-secret-name: csi-rbd-secretcsi.storage.k8s.io/provisioner-secret-namespace: ceph-csicsi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secretcsi.storage.k8s.io/controller-expand-secret-namespace: ceph-csicsi.storage.k8s.io/node-stage-secret-name: csi-rbd-secretcsi.storage.k8s.io/node-stage-secret-namespace: ceph-csicsi.storage.k8s/fstype: ext4
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:- discard
4.2 创建pvc绑定storageclass
在pvc声明中指定storageclass的名称即可绑定
[root@k8s-master01 ~]# cat ceph-csi-release-v3.9/examples/rbd/pvc.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: rbd-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 1GistorageClassName: csi-rbd-sc ##要与storageclass的名称一致
创建完成之后,StorageClass会自动创建PV,然后与PVC进行绑定。此时pod和pvc绑定即可使用pv资源作为volume来持久化存储数据。
最后来一张图解释storageclass、pvc、pv之间的关系
前面我们了解到pv的创建有静态和动态两种方式,静态即管理员手动创建。动态即通过storageclass创建。在动态创建的场景下。我们不需要手动创建pv,只需要创建storageclass,storageclass会和后端存储绑定。同时创建pvc和storageclass绑定。在pod的yaml文件中,我们声明好要使用哪个pvc。声明好后,在创建pod时,storageclass会自动根据pvc里的定义自动创建pv,同时pv和pvc会自动绑定,pv作为存储资源提供给pod使用。
5 pod删除后pv中的数据会怎么样
pod删除后pv中的数据不会受到影响。只有在pv绑定的pvc被删除,即pv和pvc的绑定被解除时。pv中的数据可能会根据其根据设置的回收策略被删除。
当pv的回收策略为retain:pvc删除后,pv不会被删除。如果手动将pv删除,pv对应的后端存储中的空间也不会被删除。如果使用相同的参数再次创建pv,依然会使用这段存储空间。
当pv的回收策略为delete时:pvc删除后,pv会被删除。pv中的数据是否会被删除取决于后端存储类型,比如测试发现hostpath类型的pv使用delete回收策略。pv被删除后,pv中的数据不会被删除。
5.1 修改pv的回收策略
[root@k8s-master01 ~]# kubectl patch pv task-pv-volume -p '{"spec":{"persistentVolumeReclaimPolicy":"Delete"}}' ##task-pv-volume为pv名