Science重磅_让大模型像婴儿一样学习语言

英文名称: Grounded language acquisition through the eyes and ears of a single child
中文名称: 通过一个孩子的眼睛和耳朵基于实践学习语言
文章: https://www.science.org/doi/10.1126/science.adi1374
代码: https://github.com/wkvong/multimodalbaby
作者: Wai Keen Vong, Wentao Wang, A. Emin Orhan, Brenden M. Lake, New York University
日期: 2024-02-02

1 读后感

这是一篇 2024 年 2 月发表在 Science 上的论文，是跨信息科学和认知科学的研究，来自纽约大学的数据科学中心和心理学系。作者主要研究了人在婴儿期如何学习关联视觉和语言。

看到图 -3，模型通过学习把具象扩展到抽象的时候，真的挺激动的，会有一种：在这伟大的时代，看着人们正在创造历史的感觉。这需要有多模态技术的加持，还需要一个老实孩子。

这篇文章的结构不太像医学论文也不太像科技论文，感觉每段都很有料，推荐通篇阅读，只是有点小贵。下面还是从引言 (背景)，方法，评价的角度来梳理这篇文章，我的想法和评论都用括号斜体括起来，其它内容均来自论文及对论文的归纳总结。

2 摘要

目标：训练模型根据少量训练样本，像婴儿一样学习视觉（眼睛）与语言（耳朵）之间的关系。

方法：作者提出了基于儿童视角的对比学习（Child’s View for Contrastive Learning，CVCL）模型。使用一个 6 到 25 个月大的儿童的长期头戴摄像机录像，采集 61 小时的相关视觉，训练模型对视觉和语言概念系统进行对齐。

结果：展示了学习词语意义中的关键因素。

3 引言

儿童在 6-9 个月时，开始将词汇与其视觉对应物连接起来；到 18-24 个月时，他们平均可以理解 300 个词，其中大部分是名词。例如：当一个孩子在话语中听到“球”这个词时，他们如何学会将这个词与圆的、弹跳的物体关联起来，而不是与其他特征、物体或事件关联呢？

对于儿童的学习过程，哲学家和认知科学家提出了很多假设，一种理论认为，词汇学习是由简单的、通用的、联想机制驱动的，例如画面与声音共现；其他理论则提出可能有更强的约束（例如：先天倾向，或者额外的推理和认知能力）。

文中对最简单的方法（第一种理论）进行了测试，通过一个孩子的纵向头戴式视频记录（如图 -1 A 所示），研究了词 - 视觉映射的可学习性。为此，使用了儿童视角对比学习模型（CVCL）。在不加入任何先验知识和线束的情况下，追踪词语和可能的视觉参照物之间的共现情况来确定它们的映射。

4 方法

4.1 数据

在 SAYCam-S 数据集上训练 CVCL，该数据集包含了一个孩子的纵向自我中心视频记录，包括孩子生活中 6 到 25 个月的片段，总共有 60 万个视频帧与 37500 个转录话语配对（从 61 小时的视频中提取）。但它只捕捉到了孩子清醒时间的大约 1%，且不包含他们经历的其他方面。

4.2 模型

提出基于儿童视角的对比学习模型（Child’s View for Contrastive Learning，CVCL）。使用一个对比目标来协调两个神经网络，一个视觉编码器和一个语言编码器，如图 -1B 所示。

在自我监督的训练方式下（只使用孩子视角的录像，不使用外部标签），对比目标将视频帧和语言表达的嵌入（向量），共现视为正例，非共现视为负例。

4.3 评估

使用常见测试儿童的方法对测试进行评如，如图 1-C,D 所示，让模型从四个选项中识别类别标签。CVCL 的分类准确率是 61.6%，CVCL 在 22 个概念中 11 个的性能与 CLIP 差距在 5% 以内（CLIP 是一个图像 - 文本对齐模型，通过 4 亿个图像 - 文本对训练）。此外，利用数千个标注了类别的数据，训练了一个有监督模型：线性探测模型 Linear Probe。该模型是通过在预训练的视觉编码器（从自我监督初始化）上拟合一个线性分类器构建，最终达到了 81.6% 的准确率。

论文还对比了从数据中学习，与从标注数据中学习的效果（自学成材和有人教），通过减少标注数据展示标注的作用，如图 2-B 所示。实验显示，一个直接标注的例子至少相当于七个来自监督学习的例子（有监督学习更快，自监督可以学习任何内容）。图 2-C 示例了与其它结构模型对比的效果。