万字长文｜下一代系统内存数据加速接口SDXI解读

本文内容分为5章节，总计10535字，内容较多，建议先收藏！

1.SDXI技术产生的背景

2.SDXI相比DMA的优势

3.SDXI实现原理与架构

3.1 描述符环原理解读

3.2 上下文管理介绍

3.3 AKey与RKey解读

3.4 错误日志和状态管理

3.5 跨Function访问

4.SDXI与CXL协同原理

5.SDXI几种应用场景

1.SDXI技术产生的背景

在传统计算模式中，数据在不同组件间移动往往依赖于软件层面的处理，例如常见的内存复制操作（memcpy），这种方式虽然稳定，但会占用宝贵的处理器周期，导致应用性能下降。同时，传统的数据移动缺乏有效的虚拟化支持，且各厂商的直接内存访问（DMA）引擎及其接口没有统一的标准，给用户级软件的利用带来了不便。

此外，异构计算环境的兴起，包括CPU、GPU、FPGA、NICs等ASSPs（应用专用标准产品）的融合，以及虚拟化和容器化的普及，都对数据移动提出了更高要求。

SDXI（Smart Data Accelerator Interface，智能数据加速接口）标准正是在这样的背景下应运而生，它的设计旨在解决上述问题，提供了一个标准化、可扩展、面向未来的内存到内存数据移动和加速接口。

这个接口独立于I/O互连技术，意味着无论底层硬件如何变化，只要遵循SDXI标准，软件都能保持良好的兼容性和稳定性。SDXI标准特别强调了对虚拟化友好的编程接口，支持用户模式和内核模式操作，旨在加速虚拟化工作负载。

SDXI标准的制定工作由SNIA SDXI技术工作小组（TWG）负责，该小组成立于2020年6月，汇聚了行业内多个领先企业的技术力量。根据记录，SDXI v1.0版本的贡献者包括来自多家知名公司，主要包括惠普企业（HPE）、戴尔（Dell）、IBM、AMD、Micron、NetApp、SK海力士、西部数据、三星、微软等23家会员公司，以及89名个人成员。

2022年正式发布了SDXI v1.0版本，标志着一个全新的数据移动加速时代开启，为高性能计算、人工智能、数据中心存储等领域带来革新。

2.SDXI相比DMA的优势

DMA数据移动器是一种硬件机制，旨在减轻CPU执行循环数据复制任务的负担，从而释放CPU周期以执行其他计算密集型任务。这一技术的引入，旨在提高系统整体的性能和效率，特别是在大量数据传输操作频繁发生的场景下。

扩展阅读：

浅析CXL P2P DMA加速数据传输的原理
PCIe P2P DMA全景解读

尽管DMA数据移动器的概念已被广泛认识，其应用却主要局限于特定的、具有特权的软件和I/O场景中。这些场景通常涉及到高度特定化的设备接口，这些接口往往不具备向前兼容性。具体来说，这种限制在两个方面尤为突出：

非虚拟化环境中的用户态应用挑战：在没有虚拟化的环境中，由于DMA数据移动器的使用受限于特定的、非通用的接口，普通用户态应用很难直接利用DMA来提升数据处理性能。这主要是因为DMA操作通常需要较高的系统权限，而普通用户态程序默认不具备这样的权限。
多租户虚拟化环境下的近乎不可能性：在多租户的虚拟化环境中，情况更为复杂。在这种环境下，多个虚拟机共享物理资源，每个虚拟机都有自己的内存空间和隔离的执行环境。使用传统的DMA机制，不仅需要解决如何安全地跨虚拟机边界移动数据的问题，还要解决如何在不破坏虚拟机隔离性的前提下，有效地分配和管理DMA资源。由于传统的DMA设备接口缺乏对虚拟化环境的支持，使得在这样的环境中实现高效的DMA数据传输变得极为困难，几乎不可行。

SDXI作为一个标准化、可扩展、独立于I/O互联技术的内存到内存数据移动和加速接口，旨在打破传统DMA的局限，使得数据移动在现代异构计算环境中变得更加高效和灵活。

SDXI Platform Data Mover是一个创新的技术框架，它设计用于克服现有数据移动解决方案的一系列局限性，从而满足现代计算环境中日益增长的高效数据处理需求。SDXI的优势的具体包括以下几个内容：

可扩展、向前兼容的接口：SDXI提供了一个与具体数据移动实现及底层I/O互连技术无关的接口，意味着无论未来数据传输技术如何演进，只要遵循SDXI规范，新旧硬件和软件就能保持良好的兼容性。这种设计允许SDXI随技术进步不断纳入新功能而不至于过时。
用户模式数据移动的标准接口：一旦连接建立，SDXI允许在用户模式下直接进行地址空间之间的数据移动，无需特权软件介入，降低了数据传输的复杂度和延迟，提高了应用层的性能。
特权软件控制接口：SDXI定义了一套标准接口，供特权软件（如hypervisors或系统管理层）来管理数据移动器的连接状态和跨多个地址空间的数据传输，增强了系统的可控性和安全性。
可抽象化或虚拟化的接口：SDXI支持其接口被特权软件抽象或虚拟化，这样可以更容易地在不同的服务器之间迁移工作负载或虚拟机，增强了跨平台的兼容性和灵活性，对于云环境尤其重要。
明确的暂停、恢复能力：SDXI具有清晰定义的能力，可以暂停、恢复每个地址空间数据移动器的架构状态，这对于实现实时工作负载或虚拟机在服务器间的迁移至关重要，有助于实现无中断的维护和动态资源调度。
确保向前兼容的接口：SDXI设计确保了现有的软件驱动程序，包括用户模式驱动，能在未来的硬件实现上无需修改即可运行，减少了因硬件升级导致的软件适配成本和时间。

SDXI通过提供一个灵活、高效、兼容性强的数据移动平台，解决了传统数据处理架构在性能、兼容性、虚拟化支持等方面的不足，为云计算、数据中心管理、高性能计算等领域带来了重大的技术进步。

后续3-5章节，请参考：点击这里，继续阅览SDXI章节3-5详细内容

3.SDXI实现原理与架构