SmartX分享：NVMe-oF 介绍、SMTX ZBS 如何选择高性能场景解决方案与如何实现

背景

前几篇文章，我们认识到了 SmartX 公司产品 SMTX ZBS 的一些内容，如iSCSI和NFS的路径、EC与多副本、RDMA等。
其中有提到，ZBS 在存算分离的架构下，提供了2种不同的数据接入协议，iSCSI 和 NMVe-oF 。当然，在接入 Access 之后，元数据管理，ZBS 内部的数据操作没有区别。
那么这篇文章，就介绍一下什么是 NVMe-oF，以及 ZBS 为何要支持 RoCEv2。

什么是 NVMe-oF

简单来说，NVMe-oF 就是在 RDMA 上跑 NVME 流量，提供高性能的工作负载。

ZBS Access

Access 是 ZBS 接收 NFS Client、iSCSI Initiator、NVMF Initiator 的读写请求的组件。它提供统一的标准存储协议接口，负责将不同的存储协议接收并处理成统一的逻辑，交由 ZBS 内部真实存储数据的 Extent 工作。
Access 是内部存储对象（Volume）与外部存储对象（iSCSI LUN / NFS File）的转义的一个工作。

在https://blog.csdn.net/Tassel_YUE/article/details/144427581 这边文章中，详细讲述了基于 iSCSI 的数据接入流程。可以回顾，本文不赘述。
最初的版本，ZBS 仅提供iSCSI和NFS两种接入协议，如今的新版本已经支持 NFS、iSCSI、NVMe-oF、vHost 四种接入协议。

iSCSI 与 iSER

iSCSI 是使用最广泛的最主流的接入方式之一。
但性能层面，iSCSI 的设计原因，导致它的速率不能批能如今极为高超的硬件速率。
iSER 是在 RDMA 之上跑iSCSI，是革新，但基于iSCSI，仍然无法释放性能。
所以 ZBS 选择支持NVMe的 NVMe-oF 作为支持的 RDMA 模式协议。

NMVe-oF 介绍

NVMe

NVMe 是NVM Express 协议规范，定义通过PCIe总线和存储通信。
NVMe 支持65535 个I/O队列，每个队列支持65535条命令（队列深度）。提供了更高的数据吞吐与更低的通信延迟。

NVMe-oF

NVMe-oF 全称是 NVMe over Fabrics。将原本DAS内部的NVMe的效果，放大到了SAN中。

DAS 直接存取网络；SAN 网络附加存储。具体可以自行搜索。

NVMe-oF 定义了使用多种通用的传输层协议来实现 NVMe 远程连接的能力。
在这里插入图片描述

NVMe-oF 承载网络（数据平面）

NVMe-oF 的承载网络，实现方法有：FC、RDMA 和 TCP 。
ZBS 选择支持 RDMA/RoCE v2 和 TCP。提供了很好的客户个性需求适配性。

NVMe over FC：基于传统的 FC 网络（主机总线适配器 HBA 和光纤交换机构建的专有通信网络），与 FC-SAN（SCSI）可以同时运行在同一个 FC 网络中，最大化地复用 FC 网络基础环境，发挥 NVMe 新型协议的优势。常用于传统集中存储的升级改造。
NVMe over RDMA：通过远程直接内存访问技术，允许客户端程序远程访问存储系统的内存空间进行数据传输。具有数据零拷贝（不涉及网络堆栈执行数据传输）、Kernel Bypass（应用程序可以直接从用户空间执行数据传输，无需内核参与）、减少 CPU 资源消耗（应用程序可以访问远程内存，而无需在远程服务器中消耗任何 CPU Cycle）等特点。
- InfiniBand - 通过 InfiniBand 网络使用 RDMA，在高性能计算 HPC 领域非常流行，与 FC 相似，需要专有的网络适配器和交换网络支撑。
- RoCE - 全称 RDMA over Converged Ethernet，即通过以太网实现 RDMA，但需要专门的网卡硬件，目前有两个版本：RoCEv1 不可路由，仅可以在 2 层工作；RoCEv2 使用 UDP/IP，具有 3 层路由能力。
  ZBS 支持的是 RoCEv2。
- iWARP - 构建在 TCP/IP 之上。跟 RoCE 协议继承自 Infiniband 不同，iWARP 本身不是直接从 Infiniband 发展而来的。Infiniband 和 RoCE 协议都是基于 “Infiniband Architecture Specification”，也就是常说的 “IB 规范”。而 iWARP 是自成一派，遵循着一套 IETF 设计的协议标准。虽然遵循着不同的标准，但是 iWARP 的设计思想受到了很多 Infiniband 的影响，并且目前使用同一套编程接口。
NVMe over TCP：与前两种实现方式不同，该方案无需任何特殊的硬件要求，基于通用标准以太网环境。成本低是该协议的优势，缺点是需要更多的 CPU 资源参与数据处理，受限于 TCP/IP 协议，在数据传输中相对 RDMA 会引入更多的延迟。
ZBS 也支持 NVMe-oF over TCP。

ZBS 不支持 FC 和 IB，原因是依赖专有网络，与产品定位冲突。不支持 iWARP 是相比于 RoCE 来看，RoCE 的发展前途更好。
不过 RoCE 需要无损网络的环境（不能有丢包PSN和NACK重传）。

ZBS NVMe-oF 实现

ZBS 支持 NVME-oF over RoCEv2 和 NVMe-oF over TCP 两种。

NVMe-oF 协议本身与 iSCSI 协议有很多相似的地方：

客户端标识为 initiator 端
服务端为 Target 端
NVMe-oF 协议中使用与 iSCSI IQN 近似的 NQN 来作为协议通讯双方的标识。

同时，NVMe-oF 定义了 Subsystem（子系统，相当于 SCSI 体系下的 Target）和 Namespace（命名空间，类似于 SCSI 体系下的 LUN）专有标准。

相比于 iSCSI 通过 initiator + Target 的数据链路控制，NVMe-oF 可以支持 initiator + Namespace 这样更小的链路控制粒度。NVMe-oF 在路径策略选择上（协议原生支持 Multipath）是通过 ANA（Asymmetric Namespace Access）机制指定 Target 链路优先级，再由客户端结合优先级与自身的链路状态探测结果选择 I/O 具体路径。

ANA 状态包括：Optimized 最优 / Non-Optimized 次优 / Inaccessible 不可达 / Persistent Loss 失去连接 / Change 状态变更

ZBS 会将所有的可用链路设置为 OP（最优链路）和 Non-OP（次优链路）两种状态，其他状态为发生异常或变化时由 Driver 自动标记。对于每个 initiator + Namespace 的组合，仅返回 1 个最优接入点和 2 个次优接入点。在最优接入点可用时，客户端将仅通过最优接入点访问数据，在异常时选择 2 个次优接入点中的一个进行访问（出于简化安全性处理的考虑，部署时会要求客户端配置为 AB 模式，即使 2 个次优接入点是等价的，也不会进入 AA 模式，同时从两个接入点中下发 I/O）。这样既可保持各个接入点的负载基本均衡，同时又尽可能发挥多个接入点的处理能力。

在这里插入图片描述