一、iSCSI存储
参考文档
VMware官方文档:配置iSCSI适配器和存储
华为配置指南:VMware ESXi下的主机连通性指南
1、配置说明
如下图所示,VMware配置iSCSI存储,需要将物理网卡绑定到VMKernel适配器上,之后再将VMKernel适配器绑定到iSCSI适配器上,再使用iSCSI适配器发起iSCSI连接操作即可
-
选择esxi主机,右键选择
添加网络
-VMKernel网络适配器
-新建标准交换机
,添加物理适配器选择对应物理网卡,设置VMKernel端口属性及IP地址
-
选择esxi主机,选择
配置
-存储适配器
-iSCSI适配器
-网络端口绑定
,将VMKernel适配器绑定到iSCSI适配器上,之后发起连接即可
2、注意事项
当存在多个iscsi集群多个块设备对接同一个VMware环境时,需要保证块设备的唯一性,避免识别为同一个设备
2.1、tgt
- 相关说明
tgt默认配置下,controller_tid
由1开始递增,scsi_id
由00010000开始递增,而VMware存储设备编号由naa.60000000000000000e000000
+scsi_id
拼接而成
当更改controller_tid
参数值时,scsi_id
和scsi_sn
都会随着改变,故只需要保持controller_tid
值唯一即可(取值范围为1~1024)
注:也可直接通过tgtadm --mode logicalunit --op update --tid <controller_tid> --lun <lun_id> --params scsi_id=<scsi_id>,scsi_sn=<scsi_sn>
命令修改scsi_id
和scsi_sn
参数值
[root@storage01 ~]# tgt-admin -s | grep "SCSI"SCSI ID: IET 00010001SCSI SN: beaf11[root@esxi01:~] esxcli storage core device list | grep "Display Name"Display Name:ceph iSCSI Disk (naa.60000000000000000e00000000010001)
- 解决措施
更改tgt配置,保持controller_tid
不重复,重启tgt服务
[root@storage01 ~]# cat /etc/tgt/conf.d/vcluster.conf <target iqn.ceph.com:target001><backing-store rbd/rbd001>lun 1vendor_id cephblock-size 512lbppbe 0</backing-store>initiator-address 172.16.21.85bs-type rbdcontroller_tid 11</target>
[root@storage01 ~]# systemctl restart tgt
2.2、scst
- 相关说明
连接scst提供的块设备,VMware查看存储设备编号如下
[root@esxi01:~] esxcli storage core device list | grep "Display Name"Display Name: SCST_BIO iSCSI Disk (eui.393030616263662d)
- 处理措施
VMware对LUN识别由t10_dev_id
、usn
两个参数控制,类似scsi_id
和scsi_sn
信息
保持t10_dev_id
、usn
不重复,重载scst配置
scstadmin -set_dev_attr <rbd-name> -attributes t10_dev_id=<t10_dev_id>
scstadmin -set_dev_attr <rbd-name> -attributes usn=<usn>
scstadmin -write_config /etc/scst.conf
[root@storage01 ~]# cat /etc/scst.conf
# Automatically generated by SCST Configurator v3.5.0.HANDLER vdisk_blockio {DEVICE rbd01 {filename /dev/rbd/rbd/rbd01size 4398046511104t10_dev_id 00300000-rbd01usn 00300000}
}TARGET_DRIVER copy_manager {TARGET copy_manager_tgt {LUN 0 rbd01}
}TARGET_DRIVER iscsi {enabled 1TARGET iqn.vcluster.com:target0001 {enabled 1rel_tgt_id 1LUN 0 rbd01}
}[root@node176 ~]# scstadmin -list_dev_attr rbd01 -driver iscsi -nonkey
Collecting current configuration: done.Attribute Value Writable KEY-----------------------------------------------------------------------------------------------------active 1 Yes No bind_alua_state 1 Yes No block 0 0 Yes No blocksize 512 No No cluster_mode 0 Yes No dump_prs <n/a> Yes No eui64_id <not set> Yes No expl_alua 0 Yes No filename /dev/rbd/rbd/rbd01 Yes Yesgen_tp_soft_threshold_reached_UA <n/a> Yes No handler vdisk_blockio No No inq_vend_specific <not set> Yes No max_tgt_dev_commands 64 Yes No naa_id <not set> Yes No numa_node_id -1 Yes No nv_cache 0 No No opt_trans_len 4194304 Yes No pr_file_name /var/lib/scst/pr/rbd01 Yes No prod_id rbd01 Yes No prod_rev_lvl 350 Yes No read_only 0 No No removable 0 No No resync_size <n/a> Yes No rotational 1 No No scsi_device_name <not set> Yes No size 4398046511104 Yes Yessize_mb 4194304 Yes No sync <n/a> Yes No t10_dev_id 00300000-rbd01 Yes Yest10_vend_id SCST_BIO Yes No thin_provisioned 1 No No threads_num 1 Yes No threads_pool_type per_initiator Yes No tst 1 No No type 0 No No type_string Direct-access device (e.g., magnetic disk) No No usn 00300000 Yes Yesvend_specific_id 900abcf-rbd01 Yes No write_through 0 No No