概念
cinder 为虚拟机提供管理块存储服务。支持的文件系统:lvm、iscsi、nfs、san、RBD
组件构成及功能介绍
cinder api:在控制节点运行,管理服务的接口,被命令行、其他组件调用;
cinder scheduler:类似nova-schedule( 默认用空闲内存计算权重 ),运行在控制节点,默认用空闲容量计算权重。如果对接的后端存储有调度功能,就不太需要;
cinder volume:类比 nova-compute,在存储节点运行,收到来自scheduler的调用后,在存储设备上进行卷的新建、删除、更改;
cinder backup:通过驱动在正确的位置存储备份数据;
关于volume的操作
# 创建空白卷
openstack volume create --size 2 卷名称
# 创建启动卷
openstack volume create --size 2 --image 镜像 卷名称
# 挂载卷,文件系统人工配置
openstack server add volume [instance1] 卷名称
# 卸载
openstack server remove volume [instance1] 卷名称
# 备份卷
openstack volume backup create --name 备份名称 卷名称
# 卷快照
openstack volume snapshot create --volume 卷名称 快照名称
# 由快照创建新卷
openstack volume create --snapshot 快照名称 --size 2 新卷名称
软件定义存储-ceph
cinder-provider:后端存储的抽象,比如nfs-provider、ceph-provider,在cinder.conf文件定义,通过相应发driver通信,同时,cinder-provider与cinder-volume一一对应。
ceph介绍
crushmap
1、crush算法通过计算数据存储位置来确定如何存储和检索,授权客户端直接连接osd
2、对象通过算法被切分成数据片,分布在不同的osd上
3、提供很多种的bucket,最小的节点是osd
# 结构
osd (or device)
host #主机
chassis #机架
rack #机柜
row
pdu
pod
room #机房
datacenter #数据中心
zone #区域
region #地区
root #最高:根# 查看crushmap
ceph osd crush tree
ceph osd tree
# 查看详细
ceph osd crush dump# 查看规则
ceph osd crush rule ls
# 某个规则关联起来的pool
ceph osd pool get xxxxx crush_rule
举例
环境: 一个pool包含3个host,多个osd,通过不同crushmap rule分隔,数据按照不同pool rule落盘。
1、先做crushmap文件备份
2、修改引起大量pg变更,后期不要动
3、调整配置osd crush update on start = false,
#创建root类型bucket
ceph osd crush add-bucket ssd-bucket root# 添加host类型bucket
ceph osd crush add-bucket node-1-ssd-bucket host
ceph osd crush add-bucket node-2-ssd-bucket host# root类型bucket添加host类型bucket
ceph osd crush move node-1-ssd-bucket root=ssd-bucket
ceph osd crush move node-2-ssd-bucket root=ssd-bucket# host类型bucket添加osd
ceph osd crush move osd.3 host=node-1-ssd-bucket root=ssd-bucket
ceph osd crush move osd.4 host=node-2-ssd-bucket root=ssd-bucket#规则名称、rootbucket名称、容灾机制(默认default)、host类型、磁盘类型
ceph osd tree#创建一条名为ssd-rule的规则,将基于ssd的OSD作为复制池的目标
ceph osd crush rule create-replicated ssd-rule ssd-bucket host ssd
#关联pool和rule
ceph osd pool set ceph-ssd crush_rule ssd-rule