我们采用以下六个标准来提供一个全面的框架，用于对机器学习研究，特别是在序列决策和具身智能体背景下的研究进行分类和理解：
-
学习范式：这个标准区分了算法获取知识的方式。
- 强化学习 (RL) 是一种试错法，智能体通过与环境互动并通过奖励或惩罚获得反馈来学习。
- 模仿学习 (IL) 让智能体通过观察和模仿专家的示范来学习。
- 监督学习 (SL) 依赖于标记数据，为每个输入提供正确的输出，指导算法的学习过程。
- 无监督学习 (UL) 专注于在没有明确指导或标签的情况下发现数据中的模式或结构。
-
关注领域：这个标准强调了研究针对序列决策的具体方面。
- 控制 研究深入探讨智能体如何学习选择动作以实现期望的结果或目标。
- 规划 研究调查智能体如何设计和执行策略以实现长期目标。
- 表征学习 探索如何学习有意义且高效的数据表征，这可能对各种任务都有益。
- 课程学习 研究如何构建学习过程，以特定顺序呈现任务或示例，以提高学习效率和泛化能力。
-
模型架构：这个标准对学习算法的底层计算结构进行分类。
- Transformer 模型利用自注意力机制来处理序列数据，捕捉序列中元素之间的依赖关系。
- 循环神经网络 (RNNs) 保持一个在每个时间步更新的隐藏状态，使其适合处理序列数据。
- 卷积神经网络 (CNNs) 擅长通过应用过滤器来提取特征，从而处理网格状数据（例如图像）。
- 其他架构 包括研究中使用的任何其他神经网络架构，提供了更广泛的方法论方法视角。
-
应用领域：这个标准确定了研究应用或测试的具体领域。
- 机器人 研究专注于应用机器学习来控制和使机器人在现实世界中执行任务。
- 游戏 研究涉及训练智能体玩游戏，通常旨在达到或超越人类水平的表现。
- 自然语言处理 (NLP) 研究处理和理解人类语言，实现翻译和文本生成等应用。
- 其他领域 包括研究结果相关的任何其他领域，例如金融、医疗保健或自动驾驶汽车。
-
数据来源：这个标准指定了用于训练和评估学习算法的数据的来源。
- 在线交互 指智能体与环境实时交互时收集的数据，允许动态学习。
- 专家示范 是从执行任务的熟练个人那里收集的数据，为智能体提供学习模型。
- 混合质量示范 包括来自专家和非专家的数据，引入变异性并可能反映现实世界场景。
- 合成数据 是人工生成的数据，通常通过模拟生成，可用于补充或替换真实世界数据。
-
训练方法：这个标准概述了用于训练学习算法的策略。
- 在线 训练涉及在新数据可用时不断更新模型，从而能够适应不断变化的环境。
- 离线 训练使用固定数据集，这有利于稳定性和可重复性。
- 预训练 涉及在较小的特定任务数据集上进行微调之前，在大型通用数据集上训练模型，这通常会提高性能。
- 元学习 旨在训练能够学习如何学习的模型，使它们能够在有限数据的情况下快速适应新任务。
这篇论文“Cross-Episodic Curriculum for Transformer Agents”可以根据六个标准分类如下：
-
学习范式：主要是模仿学习 (IL) 和强化学习 (RL)。本文重点讨论提高 Transformer 智能体在 RL（智能体通过试错学习）和 IL（智能体通过演示学习）设置中的学习效率和泛化能力。
-
关注领域：主要是控制和课程学习。本文的核心贡献是跨情节课程 (CEC) 算法，这是一种课程学习形式，旨在增强 Transformer 智能体在复杂环境中的控制能力。
-
模型架构：Transformer。本文明确关注改进 Transformer 智能体的学习和泛化，Transformer 智能体是一种在各种机器学习任务中获得突出地位的神经网络架构。
-
应用领域：主要是机器人。本文评估了 CEC 算法在 DeepMind Lab（3D 模拟环境）和 RoboMimic（机器人操作框架）中的任务，这两者都与机器人研究相关。
-
数据来源：在线交互和混合质量演示。在 RL 实验中，数据来自学习智能体的在线交互。在 IL 实验中，数据由具有不同专业水平的人工操作员的混合质量演示组成。
-
训练方法：主要是离线。虽然 RL 实验的数据是在线收集的，但 Transformer 智能体是在收集到的数据上以监督方式离线训练的。IL 实验还涉及对收集到的演示进行离线训练。
)
