MINIGPT-4:ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS
提出的MiniGPT-4使用一个投影层,将冻结的视觉编码器与冻结的先进的LLM Vicuna对齐。我们的工作首次揭示,将视觉特征与先进的大型语言模型正确对齐可以具有GPT-4所展示的许多先进的多模态能力,例如从手绘草稿生成详细的图像描述和创建网站。在我们的实验中,我们发现,在短图像字幕对上训练的模型会产生不自然的语言输出(例如重复和片段化)。为了解决这个问题,我们在第二阶段使用了一个详细的图像描述数据集来微调模型,从而提高了模型的生成可靠性和整体可用性。
MiniGPT-4添加了一个 single projection layer,将编码的视觉特征与Vicuna语言模型对齐,并冻结所有其他视觉和语言组件。MiniGPT-4最初在4个A100 GPU上使用256的批量大小训练20k步,利用组合图像字幕数据集,其中包括来自LAION、概念字幕和SBU的图像,将视觉特征与Vicuna语言模型对齐。然而,仅仅将视觉特征与语言模型(LLM)对齐不足以确保强大的视觉对话能力,就像聊天机器人一样。原始图像文本对中潜在噪声的存在可能会导致语言输出低于标准。因此,我们收集了另外3500个详细的图像描述对,用设计的对话模板进一步微调模型,以提高生成语言的自然度和可用性。