PixArt α to Σ: All about Efficient Diffusion Models - 知乎前言自年初Sora和Stable Diffusion 3推出以来，笔者就开始关注基于Diffusion Transformer的工作。在我的往期文章《 Diffusion Transformer Family：关于Sora和Stable Diffusion 3你需要知道的一切》和《一文解读：…https://zhuanlan.zhihu.com/p/686900909对基础的pixart-α升级，使其支持LCM和Controlnet。

改进：LCM中Classifier-Free Guidance Scale的从变量变为了常量；Noise Scheduling的调参。PixArt-β对现有的几个lcm-based方法进行了对比，可以看到，在1024x1024分辨率下的图片生成，用一张A100推理仅0.5s。

controlnet是unet的设计范式，因此pixart提出了controlnet-transformer，将diffusion transformer copy一份作为条件信号的输入，controlnet-transformer中的zero conv则用zero linear layers代替。