论文：2406.06911 (arxiv.org)
代码：czg1225/AsyncDiff: Official implementation of "AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising" (github.com)
简介：异步去噪并行化扩散模型。提出了一种新的扩散模型分布式加速方法，该方法在对生成质量影响最小的情况下显著降低了推理延迟。
原理：用异步过程取代顺序去噪过程，允许去噪模型的每个组件在不同的设备上独立运行。
动机：扩散模型的多步顺序去噪特性导致了高累积延迟，无法并行计算。AsyncDiff是一个通用的即插即用加速方案，可以跨多个设备实现模型并行，将噪声预测模型分成多个组件，并将每个组件分配给不同的设备。为了打破组件之间的依赖链，它利用连续扩散步骤中隐藏状态之间的高度相似性，将传统的顺序去噪转换为异步过程。因此，每个组件都便于在单独的设备上并行计算。该策略显著降低了推理延迟，同时对生成质量的影响小。AsyncDiff还可以应用于视频扩散模型。
原理
如图2所示，根据计算负荷，将重量级去噪模型ϵθ依次划分为多个分量
，并将每个分量分配给单独的设备。核心思想在于通过利用 连续扩散步骤中隐藏状态的高相似性 来解耦 这些级联组件之间的依赖关系。
每个组件将前一个组件的前一个步骤的输出作为其原始输出的近似值。这将传统的顺序去噪转换为异步过程，允许组件并行预测不同时间步长的噪声。此外，结合跨步去噪，以跳过冗余计算和减少设备之间的通信频率，进一步提高效率。
