这篇论文的主要内容围绕着一个核心问题：是否有必要将自回归模型与向量量化的表示方式绑定在一起，特别是在图像生成领域？作者团队来自麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）、谷歌DeepMind以及清华大学，他们挑战了这一传统观点，并提出了一个新的方法来避免向量量化，从而在连续值域中应用自回归模型生成图像。

主要贡献与创新点

1. 提出无向量量化的自回归图像生成方法**：论文指出虽然离散值空间有助于表达分类分布，但向量量化并非自回归建模的必要条件。研究团队引入了一种基于扩散过程的方法来建模每个token的概率分布，允许自回归模型在连续值空间中工作，从而避开了传统的离散化步骤。

2. 扩散损失函数（Diffusion Loss）：为了替代传统的类别交叉熵损失，论文定义了一个新的扩散损失函数，用于在连续值域中模型化每个token的概率。这个方法通过预测一个向量z作为条件，应用于一个去噪网络（如小型多层感知机MLP），进而实现对输出x的概率分布p(x|z)的建模。这种方法不仅去除了对离散化令牌的需求，还提供了从分布中抽样的途径。

3. 通用化的自回归框架：论文进一步将标准自回归模型和掩码生成模型统一到一个广义自回归框架下，展示了一种名为掩码自回归（Masked Autoregressive, MAR）的模型，它能够在随机顺序的同时预测多个输出token，保持了“基于已知预测下一个token”的自回归本质，且能无缝集成扩散损失。

4. 实验验证与性能提升：通过广泛的实验，作者展示了扩散损失在多种情况下的有效性，包括标准自回归模型和MAR模型。该方法提高了生成质量，同时保持了序列模型的快速生成速度，在ImageNet 256×256数据集上实现了小于2.0的FID分数，最优秀的模型甚至达到了1.55的FID。

方法论概述

- 核心思想：通过在连续值域中应用扩散过程，直接建模token的概率分布，而非先将其量化为离散值。
- 技术路径：使用自回归模型预测每个token的条件向量z，随后借助一个去噪网络执行扩散过程，实现高质量的图像生成。
- 影响与展望：该方法揭示了自回归图像生成的一个新方向，强调了通过自回归联合扩散过程来建模token间相互依赖的重要性。研究者希望这一成果能促进自回归图像生成技术的发展，并在未来被推广至其他连续值域的应用中。

相关工作对比

- 论文与现有基于离散化令牌的自回归图像模型（如基于VQ-VAE的变体）形成对比，强调了连续值令牌化的优势。
- 与GIVT等关注连续值令牌的工作相比，本文的方法通过扩散过程来建模任意概率分布，提供了更高的灵活性和表达能力。
- 尽管与Diffusion Policy在机器人学中的应用有概念上的联系，但本文专注于图像生成领域，特别强调了多样性和生成质量。

综上所述，这篇论文在图像生成领域提出了一个重要的创新，即通过在连续值域内直接建模自回归模型的token概率分布，有效绕过了向量量化的限制，为生成高质量图像提供了一个新的视角和方法论。

论文链接：
https://arxiv.org/abs/2406.11838