CVPR 2024发表了关于多感知以对象为中心的具身大型语言模型（MultiPLY）的研究论文，该模型在3D环境中进行编码和交互。

提出MultiPLY是一个多感知的具身大型语言模型（LLM），能够将视觉、听觉、触觉和温度等多感官信息整合到大型语言模型中。MultiPLY通过部署具身代理与3D环境交互，收集多感官数据。

建立了Multisensory Universe，这是一个大规模的多感官交互数据集，包含50万个数据点，由具身代理在3D环境中主动探索和交互收集而成。MultiPLY擅长执行多种任务，包括多感官描述、问题回答、对话、操控、导航、工具使用、任务分解等。

模型架构: - 使用了LLaVA作为基础的多模态大型语言模型。 - 引入了行动指令（如<SELECT>、<NAVIGATE>、<TOUCH>等），使代理能够在环境中采取特定行动。- 引入了状态指令，将代理的多感官状态观察结果反馈给LLM，以生成后续的文本或行动指令。

训练与推理: - 训练阶段使用Multisensory Universe数据集，通过指令调整预训练的LLM。 - 推理时，MultiPLY能生成行动令牌，指导代理在环境中采取行动，并获取下一状态的多感官观察结果。

实验在多个任务中评估了MultiPLY的性能，包括对象检索、工具使用、多感官描述和任务分解。实验结果显示，MultiPLY在这些任务中的表现均优于基线模型。

MultiPLY模型能够将多感官交互数据整合到大型语言模型中，展示了在多模态任务中的潜力。尽管目前模型尚未涉及详细的导航和控制策略，但这些方面可以在未来的研究中探索并集成到框架中。