香港中文、SmartMore

论文标题：Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

Code and models are available at https://github.com/dvlab-research/MiniGemini

一、问题提出

通过更高分辨率的图像增加视觉标记的数量可以丰富LLM中的视觉嵌入。然而，这种改进伴随着计算需求和相关成本的不断增加，特别是在处理多个图像时。此外，现有的数据质量、模型能力和应用范围仍然不足以加速训练和开发过程。这种情况引发了一个关键的问题：如何在学术环境中以可接受的成本推动 VLM 接近成熟的模型？

为了回答这个问题，从三个战略方面探讨了VLM的潜力，即高效高分辨率解决方案、高质量数据和扩展程序。

二、Mini-Gemini

1、Dual Vision Encoders

Mini-Gemini的框架在概念上：利用双视觉编码器来提供低分辨率的和高分辨率的视觉嵌入；提出patch信息挖掘以在高分辨率区域和低分辨率视觉query之间进行patch-level挖掘；LLM用于将文本与图像结合起来，同时进行理解和生成。

高分辨率图像、低分辨率图像（高分辨率双线性插值而来），然后双编码器并行处理成多网格视觉嵌入。对于LR，使用CLIP vit，这样，N个视觉块之间的长程关系就可以很好地保留下来，以便后续在LLM中进行交互。对于HR，采用基于 CNN 的编码器进行自适应且高效的 HR 图像处理。使用 LAION 预训练 ConvNeXt作为 HR 视觉编码器。因此，可以通过将不同卷积阶段的特征上采样并concate到1/4输入尺度来获得HR特征图。

2、Patch Info Mining

为了维持 LLM 中最终visual tokens的数量以提高效率，将低分辨率LR的visual embedding作为query，高分辨率HR作为Key和Value，旨在从 HR  visual embedding中检索相关视觉线索。Q 中的低分辨率块与 K 和 V 中相应的高分辨率子区域相关，包含 M^2 个像素级特征。因此，patch信息挖掘过程可以表述为:

其中 φ和 MLP 分别表示a projection layer和multi-layer perceptron。

如图 3a 所示，该公式封装了合成和细化视觉线索的过程，从而生成增强的视觉标记 Tv，用于后续的 LLM 处理。它确保每个query的挖掘仅限于 HR 具有 M^2 个特征的相应子区域，从而保持效率。这种设计允许在不扩展视觉标记数量的情况下提取 HR 细节，保持细节丰富度和计算可行性之间的平衡。

此外，还支持视觉令牌扩展。如图 3b 所示，可以将视觉标记扩展到 5N 以捕获更多细节。这是通过将原始图像与其 2× 放大的对应图像合并来实现的，从而产生批量输入 XL∈R5×H′×W′×3。可以使用 LR 视觉编码器得到编码后的视觉嵌入 X′ L ∈ R5×N×C，如第 3.1 节所述。

3、Text and Image Generation

通过挖掘的视觉标记 Tv 和输入文本标记 Tt ，将它们拼接起来作为 LLM 的输入以进行自回归生成。Mini-Gemini 支持纯文本和文本图像生成作为输入和输出，即任意到任意的推理。Mini-Gemini 将用户指令转化为高质量的prompt，从而在潜在扩散模型中生成上下文相关的图像。这种方法反映在后续的高质量图像生成框架中，例如DALLE 3和SORA，它们利用VLM的生成和理解能力来获取用于生成任务的更高质量的文本条件。

Text-image Instructions.

为了更好的跨模态对齐和指令微调，从公开来源收集高质量的数据集。特别是，对于跨模态对齐，利用来自 LLaVA 过滤的 CC3M 数据集的 558K 图像标题对和来自 ALLaVA 数据集的 695K 采样的 GPT-4V response caption。至于指令微调，从 LLaVA数据集中采样了 643K 单轮和多轮对话（不包括 21K TextCaps数据），从 ShareGPT4V中采样了 100K QA 对，从 ShareGPT4V中采样了 10K LAION-GPT-4V 字幕、来自 ALLaVA 数据集的 700K GPT-4V 响应指令对，以及来自 LIMA和 OpenAssistant2的 6K 纯文本多轮对话。为了增强 OCR 相关能力，进一步收集了 28K QA 对，其中包括 10K DocVQA、4K ChartQA、10K DVQA 和 4K AI2D数据。一般来说，图像理解大约有 1.5M 的指令相关对话。此外，还收集了 13K 对用于图像相关的生成。

Generation-related Instructions.

为支持图像生成，使用 GPT-4 Turbo 进一步构建了 13K 指令数据集。如图 4 所示，训练数据包含两个任务：（a）简单指令重述：采用 LAION-GPT-4V 中的 8K 描述性图像标题，让 GPT-4 逆向推断相应用户的短输入和稳定扩散 (SD) 域中的目标标题。 (b) 上下文提示生成：基于 LIMA和 OpenAssistant2中的一些高质量的真实对话上下文，生成提示，生成适合对话上下文的图像，总共带来 5K 条指令。对于这两种数据，在每次对 GPT-4 的query中，从 GigaSheet 中随机采样 5 个高质量 SD 文本到图像提示作为上下文示例，以获得生成的目标提示。格式化数据以使用 <GEN> 作为触发器来启动生成过程并将目标标题包装在 <h>...</h> 内。文本生成后，Mini-Gemini 提取目标标题并利用 SDXL生成相应的图像。

三、实验

1、Implementation Details.

为高效训练，固定两个视觉编码器，并优化各个阶段的Patch Info Mining的projector。同时，仅在指令调优阶段对LLM进行优化。使用 AdamW 优化器和余弦学习计划优化 1 epoch 的所有模型。在大多数情况下，模态对齐和指令调整的初始学习率分别设置为 1e−3 和 2e−5，Mixtral-8×7B 和 Hermes-2-Yi-34B 的调整率为 1e−5确保指令调优稳定。该框架涉及在标准机器配置的 8 个 A800 GPU 上进行训练。对于最大的模型 Hermes-2-Yi-34B，利用 4 台机器，使用 DeepSpeed Zero3 策略在 2 天内完成优化。对于HD版本，由于LLM视觉令牌的扩展，总成本增加到大约4天。

对于模型优化，构建高质量数据以进行跨模态理解和生成。它主要包括用于模态对齐的 1.2M 标题对和用于指令调整的 1.5M 单轮或多轮对话。

2、Main Results

Normal Resolution

在多种设置（包括正常分辨率和高分辨率）下与之前的领先方法进行了比较，并且还考虑了私有模型。在正常分辨率下，Mini-Gemini 在各种LLM中始终优于现有模型。

High Resolution

为验证扩展视觉标记的框架，对表 1 中 LR 视觉编码器的输入大小为 672，HR 视觉编码器的输入大小为 1536 进行实验。尽管分辨率提高了，LLM 处理的视觉标记的有效数量仍然与 LR 输入大小 672 保持一致，确保了计算效率。这种方法的好处在注重细节的任务中尤其明显。

3、Component-wise Analysis

Patch Info Mining

通过集成 ConvNeXt-L 作为 HR 图像的视觉编码器获得了显着的收益。

Vision Encoder

与默认的ConvNeXt-L相比，添加了两个编码器进行对比试验，即ConvNeXt-B和ConvNeXt-XXL。借助基本的 ConvNeXt-B，模型在 TextVQA 和 MM-Vet中表现更好。然而，ConvNeXt-L 编码器始终提供峰值结果，尤其是在 MME 和 MM-Vet 数据集中，表明在处理详细视觉信息方面具有卓越的平衡。可以从表中得出结论，HR 图像的较大视觉编码器对候选质量的贡献更大，但模型会与 ConvNeXt-XXL 等过大的编码器收敛。因此，考虑到有效性和计算效率之间的平衡，选择ConvNeXt-L作为默认的HR视觉编码器。这一决定是基于其提供高质量视觉信息挖掘的能力，同时保持合理的计算需求，跨基准的比较性能证明了这一点。

High-quality Data

高质量的数据对于提升LLM和VLM能力的重要性怎么强调都不为过。

Visual Token Extension

如图 3b 所示，扩展的视觉标记，从而在不同的输入分辨率下推广其实用性。我们在表 3 中验证了有效性。当增加 LR 和 HR 输入分辨率时，该模型在所有基准测试中都取得了显着的增益。分辨率的提高显着减少了幻视，从而使图像理解更加准确和可靠。一般来说，随着视觉令牌数量的增加，Mini-Gemini 可以扩展到更好的能力。

4、Qualitative Results

Visual Understanding

为确定 Mini-Gemini 在现实环境中的视觉理解能力，将其应用于图 5 中的各种理解和推理任务。得益于补丁信息挖掘和高质量的数据，Mini-Gemini 可以很好地解决多种复杂情况。

Image Generation

对Mini-Gemini的生成能力进行了全面评估。与最近的研究（例如 AnyGPT和 ChatIllusion）相比，更强的多模态理解能力使模型能够生成与给定指令更好地对齐的文本到图像标题，从而产生更适合上下文的图像文本答案。如图  6 所示，它能够熟练地基于多模式人类指令和纯文本训练数据生成高质量内容。这一能力凸显了 Mini-Gemini 强大的图像文本对齐和语义解释能力，这些能力在推理阶段有效发挥作用。利用LLM强大的推理能力，可以在单轮或多轮对话中产生合理的图文输出。

四、Conclusion and Discussion

仍有很大的潜力需要进一步挖掘。对于视觉理解来说，计数能力和复杂的视觉推理能力还远远不能令人满意。这可能是由于缺乏相应的训练数据，特别是在预训练阶段。同时，对于基于推理的生成，在这项工作中使用文本来桥接 VLM 和扩散模型，因为没有发现基于嵌入的方法有明显的增益。将尝试寻找一种更先进的方式来进行视觉理解、推理和生成。