DALL-E 3
- DALL-E 3
- 总览
- 摘要
- 1 引言
DALL-E 3
总览
题目: Improving Image Generation with Better Captions
机构：OpenAI，微软
论文: https://cdn.openai.com/papers/dall-e-3.pdf
任务: 文本生成图像
特点:
前置相关工作：DALL-E，DALL-E 2
摘要
我们表明，通过对高度描述性生成的图像caption进行训练，可以显着提高文本到图像模型的提示跟随能力。现有的文本到图像模型很难遵循详细的图像描述，并且经常忽略单词或混淆提示的含义。我们假设这个问题源于训练数据集中的噪声和不准确的图像标题。我们通过训练定制图像caption器并使用它来重新caption训练集来解决这个问题。然后，我们训练了几个文本到图像模型，发现对这些合成字幕的训练可靠地提高了提示词跟随能力。最后，我们利用这些发现构建了 DALL-E 3：一种新的文本到图像生成系统，并在旨在衡量提示词跟随性、连贯性和美观性的评估中对其性能进行了基准测试，发现它与竞争对手相比具有优势。我们发布了这些评估的示例和代码，以便未来的研究可以继续优化文本到图像系统的这一重要方面。
1 引言
生成建模的最新进展使得文本到图像生成模型能够实现显着的性能改进。特别是，使用基于采样的方法（例如自回归生成模型[PixelCNN,PixelSNAIL, Generative Pretraining from Pixels,DALL-E,Parti或使用扩散过程[Deep Unsupervised Learning using
Nonequilibrium Thermodynamics,DDPM,Improved Denoising Diffusion Probabilistic Models,GLIDE,unCLIP,Stable Diffusion）来处理文生图问题，使我们能够将图像生成问题分解为小的、离散的步骤，这对于神经网络来说更容易学习。
与此同时，研究人员找到了用自注意力层堆栈构建图像生成器的方法[Image Transformer,Generating long sequences with sparse transformers,ViT。将图像生成与卷积的隐式空间偏差解耦，使得文本到图像模型能够通过经过充分研究的transformer缩放特性来可靠地改进。
结合足够大的数据集，这些方法可以训练大型文本到图像模型，这些模型能够生成快速接近人类可以制作的照片和艺术品质量的图像。
