一些无编码器的MLLMs统一架构如Fuyu，直接在LLM内处理原始像素，消除了对外部视觉模型的依赖。但是面临视觉与语言模态冲突的挑战，导致训练不稳定和灾难性遗忘等问题。解决方案则是通过参数解耦方法解决模态冲突。
在多模态大语言模型（MLLM）中，将视觉处理模块与语言处理模块的参数进行隔离设计，使两者在训练和推理过程中保持独立性。其核心是通过架构设计或训练策略 ，限制视觉与语言参数之间的直接耦合，从而缓解多模态学习中的固有冲突。
一、为什么要参数解耦
1. 缓解模态冲突（Modality Conflict）
视觉与语言数据分布差异大（图像空间局部相关 vs 文本时序长程依赖），联合训练易导致优化方向冲突。
2. 抑制灾难性遗忘（Catastrophic Forgetting）
解耦参数可冻结语言模块参数，防止视觉任务训练覆盖语言知识。
3. 提升训练效率
梯度隔离：视觉与语言参数的梯度反向传播路径分离，减少优化器状态内存占用。
4. 支持模块化升级
独立替换：可单独更新视觉编码器（如替换ViT为Swin Transformer）或升级语言模型（如LLaMA-2 → Mistral），无需重新训练整个系统。
二、方案
1. 模块化隔离
- 结构设计：视觉编码器（如ViT）与语言模型（如LLaMA）分别使用独立的参数池，仅通过轻量级适配器（Adapter）连接。
- 示例：早期MLLM如Flamingo [1] 使用冻结的ViT和LLM，仅训练连接两者的Perceiver Resampler。
- 参数占比：视觉编码器参数量占比约80%，语言模型15%，适配器仅5%。
2. 混合专家（MoE）架构
- 动态路由：为视觉和语言模态分配不同的专家网络，通过门控机制选择激活路径。
- 示例：Mono-InternVL [2] 设置视觉专家（处理图像块）和语言专家（处理文本token），共享仅30%的基础参数。
- 计算开销：MoE结构在训练时增加约20%的FLOPs，但推理时通过稀疏激活降低开销。
3. 分层解耦
- 参数分组：在Transformer层内分离视觉相关与语言相关的线性层、归一化层。
-
示例：EVEv2 [3] 将每个FFN层的权重矩阵拆分为视觉子矩阵 W v W_v Wv 和语言子矩阵 W l W_l Wl，反向传播时仅更新对应模态的子矩阵。
-
公式表达：
其中 ∣ ∣ || ∣∣ 表示矩阵拼接，训练时根据输入模态冻结 W l W_l Wl 或 W v W_v Wv。
-
三、关键技术挑战
1. 跨模态对齐难度
- 问题：参数解耦可能削弱视觉与语言表征的对齐能力，导致跨模态理解性能下降。
- 解决方案：引入对比学习损失（如InfoNCE），强制视觉-语言适配器输出对齐。
实验效果：在VQA任务中，解耦模型+对比学习的准确率提升6.7%。
2. 参数膨胀
- 现象：完全解耦可能使总参数量翻倍（如EVEv2的13B → 26B）。
- 优化方法：
- 参数共享：在MoE中让视觉与语言专家共享底层投影矩阵（如共享率30%）。
- 低秩适配：使用LoRA [5] 为各模态添加低秩增量，而非全参数更新（可减少70%新增参数量）。
3. 动态推理开销
- 挑战：MoE等动态路由机制增加条件计算，可能降低GPU并行效率。
- 硬件优化：NVIDIA的FasterMoE框架通过智能缓存机制，将MoE延迟降低40%。
未来研究方向
- 动态解耦强度：根据输入内容自动调整视觉-语言参数交互程度（如注意力门控）。
- 量子化兼容性：开发视觉与语言参数的异构量化策略（如视觉模块8-bit，语言模块4-bit）。
- 神经架构搜索（NAS）：自动探索最优解耦比例与连接结构。
参考文献
[1] Alayrac et al., Flamingo: A Visual Language Model for Few-Shot Learning, 2022.
[2] Chen et al., Mono-InternVL: Scaling Multimodal Foundation Models without Catastrophic Forgetting, 2023.
[3] Li et al., EVEv2: Decoupling Vision and Language in Multimodal Transformers, 2023.
[5] Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022.
)
