26年7月来自黎曼动力的技术论文“Riemann-1.0: An Embodied World Action Model for Physical AI”。物理人工智能Physical AI正推动人工智能从单纯理解数字世界向感知、推理并作用于物理世界演进。世界动作模型World Action Models, WAMs已成为联合建模机器人动作与世界动态的有效范式。然而现有方法难以有效利用异构具身经验包括以人为中心的视角视频、手持夹爪演示如 UMI以及异构机器人轨迹且缺乏用于联合建模机器人动作、状态及世界演化的统一因果表述。Riemann-1.0是一个专为具身智能设计的全因果自回归世界动作模型。Riemann-1.0 在统一的因果自回归序列中联合建模多视角视觉观测、机器人状态及特定具身的动作将机器人动作与世界演化表述为因果状态转移。与基于联合生成、视频优先预测或解耦建模范式的现有 WAM 不同Riemann-1.0 将在线机器人策略执行与动作条件下的世界仿真统一于单一模型中使其既能作为可执行的机器人策略又能作为多具身视觉世界模拟器。为了跨异构数据源扩展具身经验其进一步开发一种渐进式具身预训练框架在统一的世界动作建模目标下整合来自以人为中心的视角视频、手持夹爪演示及异构机器人轨迹的学习过程。基于包含超过 20 万小时交互数据的统一具身数据基础设施Riemann-1.0 将大规模具身经验渐进式地转化为可执行的机器人操作能力。Riemann-1.0 在仿真基准测试和真实世界操作任务中均取得业界领先的性能。Riemann-1.0 是一种面向具身智能的全因果自回归世界动作模型如图 1 所示。该模型将机器人交互建模为涵盖多视角视觉观测、机器人状态及特定具身动作的统一因果自回归序列其中机器人动作与环境演变均被表述为因果状态转移过程。这种全因果建模方式与现实世界机器人的交互过程自然契合使得单一模型既能充当可执行的机器人策略又能作为支持多具身形态、以动作为条件的视觉世界模拟器。为了有效利用大规模具身经验进一步提出“渐进式具身预训练”Progressive Embodied Pretraining方法。这是一项包含三个阶段的课程学习策略旨在将具身知识从弱监督形式逐步迁移至可执行的机器人控制能力。该课程遵循从弱监督具身知识学习到可执行动作对齐再到特定具身形态策略增强的自然演进路径实现从大规模具身经验到可执行机器人操作任务的持续能力迁移。具体而言首先利用冻结参数的潜动作模型LAM将大规模无标注的第一人称视角egocentric视频转化为潜动作表征从而为预训练提供可扩展的弱动作监督信号。随后通过结合人工标注的 3D 第一人称视角视频、手持夹爪演示数据以及异构机器人轨迹数据将潜动作与不同具身形态下的可执行机器人动作进行逐步对齐。最后利用高质量机器人轨迹数据对模型进行微调使其专精于特定具身形态的动作生成及下游机器人策略学习。大量实验表明Riemann-1.0 在仿真基准测试及长时程现实世界操作任务中均达到了业界领先水平。该模型在 RoboTwin2.0 (Chen et al., 2025a) 上的成功率为 94.3%在 LIBERO (Liu et al., 2023) 上为 99.0%在长时程组合任务基准 RoboCasa-365 (Nasiriany et al., 2026) 上达到 62.6%较现有最佳方法高出 8.4 个百分点。在长时程的现实世界操作任务中该方法实现了 85.0% 的成功率SR和 94.4% 的进展成功率PSR其中成功率比最强的开源基线高出 15 个百分点。这些结果表明将“全因果世界动作建模”与“渐进式具身预训练”相结合能有效地将大规模具身经验转化为具有泛化能力的长时程机器人操作能力。扩展“世界动作模型”World Action Models在根本上依赖于扩展具身经验而不仅仅是扩展机器人轨迹。然而具身经验在本质上是异构的涵盖以自我为中心的人类视频、手持夹具演示以及机器人轨迹等多种形式。这些数据源在观测模态、动作表征、时间粒度和监督保真度方面存在显著差异使得统一的大规模预训练面临根本性挑战。为了应对这一挑战构建一个统一的具身数据基础设施能够自动将异构的具身经验转化为通用的动作-级”视频-状态-动作”表征。该基础设施由三个紧密耦合的组件构成多源具身经验采集、统一具身数据引擎以及结合多源数据平衡的渐进式监督机制。这些组件协同工作生成一个可扩展的预训练语料库其中包含超过 20 万小时、涵盖数千种交互技能的具身经验为世界动作建模奠定了数据基础。1. 多源具身经验构建一个大规模具身经验语料库包含超过 23 万小时的具身经验其中包括 20 万小时以自我为中心的人类视频、1.2 万小时手持夹具及可穿戴设备演示以及 2 万小时异构机器人轨迹。该语料库涵盖了家庭、办公室和工业等多种环境囊括了数千种交互技能及广泛的机器人形态。这三种数据源提供互补的监督信号。以自我为中心的人类视频提供最丰富的现实世界交互、以物体为中心的操作技能以及长程任务组合的多样性。手持夹具和可穿戴设备演示提供了结构化的末端执行器轨迹自然地连接了人类交互与机器人兼容的控制方式。机器人轨迹则为下游策略学习提供了精确的、特定于形态的状态信息以及可直接执行的动作。这些数据源并非冗余而是相互补充人类视频提供可扩展的交互知识手持夹具演示缩小人类与机器人之间的形态差异而机器人轨迹则提供了可执行的控制监督信号。它们共同为“渐进式具身预训练”建立了一个自然的监督层次结构。2. 统一具身数据引擎如图 2 所示尽管这三种数据源提供了互补的监督信号但它们的原始格式却截然不同。以自我为中心的人类视频提供了带有弱语言监督的视觉观测手持式夹爪演示提供了结构化的末端执行器轨迹和夹爪状态而机器人数据集在具身特定状态、动作空间、坐标系和控制频率方面存在显著差异。直接合并这些异构数据源会导致监督不一致和优化不稳定。为了统一异构具身经验构建一个统一的具身数据引擎将所有数据转换为通用的动作级轨迹表示该表示包含语言指令、具身身份、视觉观测、状态、动作和语义元数据。对于每种具身形态状态和动作流在时间上进行对齐、归一化并按照具身特定的规范定义进行组织同时有效性掩码validity masks处理可变维度的动作而无需强行将异构具身形态纳入共享的物理动作空间。这种统一表示充当异构具身数据与“世界动作建模”World Action Modeling目标之间的标准化接口。针对以自我为中心的人类视频首先进行视觉归一化随后应用基于分层视觉-语言模型VLM的标注流水线将长视频片段逐步分解为任务级和动作级片段并附带结构化语义标注包括任务、动作、场景、操作对象及时间边界。在任务级和动作级进行的一致性验证进一步提高了标注的可靠性。为了连接视觉交互与可执行动作进一步从纯视频形式的自我中心人类数据中重建连续的3D手部轨迹。首先通过手部检测与追踪建立时间上一致的手部轨迹随后利用基于MANORomero et al., 2022的方法进行3D手部重建以恢复手部关键点、手腕姿态及MANO参数。与此同时VGGT-ΩWang et al., 2026a负责估计相机内参和帧级相机姿态从而使手部轨迹能够在自我中心相机运动下统一于同一坐标系中。轻量级的时间精修步骤进一步抑制了抖动和短期漂移生成了用于大规模预训练的时间连续手部动作轨迹。最后语义一致性、交互完整性、手部动作、可见性和相机运动会被综合评估以保留高质量的交互片段。与第一人称人类视频不同手持夹具演示和机器人轨迹已经提供了结构化的控制监督。因此它们的处理主要集中在时间对齐、动作规范化和轨迹质量过滤。夹具状态的转换被用来优化动作边界而相机抖动过滤、末端执行器静止排除以及异常控制过滤则进一步提高了数据质量。处理完成后所有数据源都会被转换成在统一语义分类下的、时间上对齐的动作级视频–状态–动作轨迹从而实现跨不同实体的可扩展世界动作建模。3. 渐进式监督与数据平衡处理后的语料库形成了一个监督连续体动作保真度逐步提升而不是简单地分为标注数据和未标注数据。大规模自我视角的人类视频首先通过冻结的潜在动作模型生成的伪动作提供了广泛的互动动态和弱动作监督。随后带有重建3D手部轨迹的人类视频、手持抓取演示以及异构机器人轨迹为视觉-动作对齐提供连续的真实动作监督。最后高质量的机器人轨迹将模型专门化用于体现特定动作预测和闭环策略执行。这种监督层级自然对应了Riemann-1.0的三阶段训练课程使模型能够逐步从开放世界的交互知识过渡到可执行的机器人控制。原始语料在数据来源、场景、任务、技能、物体和机器人体现方面存在严重的长尾分布。我们没有单纯地平衡原始数据量而是建立了统一的语义分类体系并在多个语义维度上执行语义感知采样。这一策略在保持大型人类数据规模优势的同时确保对长尾操作技能和低资源机器人体现有足够的暴露。总体来说数据基础设施将异构体现经验转化为可扩展的世界动作建模监督源使世界动作模型能够通过扩展体现经验持续改进而不仅仅依赖于机器人轨迹。1. 初步WAM 通过联合建模机器人动作及其视觉结果来捕捉机器人与环境的动态。给定任务条件 、视觉潜变量 _、机器人状态 _ 和动作 _WAM 可以建模控制和观测随时间的耦合演化。流匹配。流匹配学习一个连续的向量场将噪声样本传输到数据样本上。这种表述自然适用于世界动作建模使得视觉潜变量和连续机器人动作可以在统一的速度回归框架下进行优化。WAM范式的比较。现有的WAM范式主要在于它们如何建模机器人动作与未来视觉观测之间的交互从而在策略学习、视觉模拟和推理效率之间产生不同的权衡见图3所示。DreamZero 风格方法Ye2026b会同时对视觉潜变量和动作进行去噪。这种方法将动作和视觉生成紧密结合但需要联合建模不同维度、时间分辨率和优化特性的模态。视频优先方法比如 LingBot-VALi2026会先生成未来的观测然后根据预测的视觉轨迹推断动作从而引入额外的推理延迟。FastWAM 风格方法Yuan2026则通过使用两个独立的 DiT将视频和动作生成解耦提高模块化同时仍然将动作预测建立在预测的视觉特征上而不是因果交互历史上。相比之下Riemann-1.0 采用完全因果的自回归动作-视频方法其中机器人动作要么在线预测要么在生成未来视觉潜变量之前外部指定。这种完全因果的形式使得单个模型既可以作为可执行的机器人策略也可以作为基于动作条件的视觉世界模拟器。2. Riemann-1.0全因果的动作-视频世界模型Riemann-1.0 在动作和视觉潜变量上采用完全因果的自回归分解。如图 4 所示在每个自回归步骤中模型会根据之前的视觉观测、机器人状态和动作历史预测当前动作。然后将动作添加到因果上下文中并用作预测相应视觉潜变量的条件。这一顺序遵循真实机器人中的因果交互过程即动作先执行然后才观察到视觉结果。在策略部署时预测的视觉潜变量会被环境在动作执行后返回的真实观测所替换。在视觉模拟中预测的视觉潜变量会递归地反馈到模型中以生成未来的动作条件观测。机器人的状态 _ 并不是由模型生成的。相反它们是直接从环境中观察到的或者从记录的轨迹中回放并作为条件信号注入到下一个自回归步骤中。这种分解方式保留因果交互过程历史观察、机器人状态和先前动作决定下一个机器人的动作而这个动作反过来又影响下一个视觉过渡。得到的观察结果连同更新后的机器人状态就成为下一个自回归步骤的上下文。相比于 GIGA-World-PolicyYe2026a它从大规模视频生成预训练中继承视觉动态先验然后再将其适配用于机器人策略学习Riemann-1.0 在整个渐进式的具身预训练、训练后阶段以及部署过程中采用相同的完全因果动作-视频公式。在统一的世界动作建模目标下Riemann-1.0 从预训练开始就联合学习潜在或可执行动作及视觉动态使其动态先验可以直接由具身动作监督塑形而不是从通用视频生成目标转移过来。此外每一个预测或观察到的视觉结果都会递归地纳入因果交互历史用于后续动作预测实现长时间闭环交互。这种统一的公式最大限度地减少学习监督与在线执行之间的建模不匹配让学到的动作-世界动态能够自然地从大规模具身预训练转移到下游机器人策略学习。视觉预测就是在任务提示 、初始视觉潜变量 0 和初始状态 _0 条件下联合动作-视频展开的自回归分解。具体来说Riemann-1.0 根据前面的视觉、状态和动作历史预测动作并从同样的因果历史和当前动作生成每个未来的视觉潜变量。因此动作块不仅是策略输出也是视觉动态模型的条件输入这是 Riemann-1.0 能作为机器人世界模拟器的关键接口。输入、提示调控和归一化。语言条件指定任务指令以及机器人形态和摄像头视角配置“从具身 {embodiment_type} 录制的视频显示 {num_views} 个摄像头视角同时执行任务{task}。”语言条件通过 T5 编码器Colin, 2020编码并通过交叉注意注入到 Transformer 中提供语义任务和形态上下文。还使用数值形态 ID 来选择特定形态的动作/状态投影和预测头使异构机器人可以共享统一的主干同时保留形态特定的控制参数化。视觉观测被打包到统一的、特定形态的多视角画布中调整至模型分辨率使用 Wan VAEWan, 2025编码为潜表示并通过 3D 补丁嵌入转换为 Transformer token。第一个潜表示 _0 作为初始观测上下文而未来的视觉潜表示 _1∶ 则自动回归生成。动作和机器人状态被转换为特定形态的规范表示并使用每个形态的统计数据进行归一化。这种归一化消除坐标系、物理单位和动作维度的差异同时保留形态特定的控制语义使异构形态能够共享统一的世界动作建模接口。特定机器人的状态和动作接口。不同的机器人在动作维度、状态维度、坐标约定和语义布局上都有所不同。因此Riemann-1.0 共享 Transformer 的骨干网络同时为每种机器人特化输入和输出接口。对于某个机器人 原始的动作和状态向量首先会被转换为该机器人的规范顺序。然后它们会被填充到固定的模型维度 _ ≤ _ 和 _ ≤ _其中 _ 和 _ 分别表示最大动作和状态维度。原始的机器人 ID 会被映射到一个紧凑的类别槽该槽索引对应类别的动作和状态线性投影。动作预测头也是按类别特定的。因此这个模型能在不同机器人之间共享时间和视觉推理同时保留每种机器人特有的动作和状态空间。Token序列和时间对齐。对于每个训练样本Riemann-1.0 会将所有模态序列化成一个单一的 transformer 序列[上下文潜变量、干净潜变量、噪声潜变量、状态、干净动作、噪声动作]。上下文潜变量对应第一个观察到的帧。干净潜变量和干净动作token在因果掩码下作为教师强制的历史而噪声潜变量和噪声动作token则是需要去噪的流匹配目标。动作流在时间上比视觉潜变量流更密集。完全因果的训练目标。每个视觉潜变量总结一小段低级控制步骤这段长度由 VAE 的时间步长和帧采样率决定。在训练过程中动作序列会按潜变量分组因此每个预测出的视觉潜变量都会与对应的机器人动作片段配对。状态序列比潜变量序列多一个元素即初始状态以及每次潜变量转换后观察到的状态。这种组织方式将训练监督与推理过程中执行的因果展开对齐。为了匹配在线执行每次预测都不应访问在推理时不可用的信息。因此Riemann-1.0 采用结构化注意掩码而不是不受限制的自注意。干净的 token 会在因果掩码下关注之前观察的干净 token。在局部生成块内可以使用双向注意来建模块内结构。噪声目标 token 会关注之前的干净 token 以及同一噪声块内的其他 token但不会关注未来的干净 token。这可以防止来自未来观察的泄漏同时在已观察的轨迹前缀上保留教师强制。注意力掩码由三个 token 属性构建帧 ID、时间 ID以及干净/噪声标志。如图 5 所示干净 token 只关注当前或之前时间步的干净 token。噪声 token 会关注之前时间步的干净 token 以及同一帧内的噪声 token。填充 token包括文本填充 token会被屏蔽以确保可变长度序列的稳定训练。、潜变量与动作流匹配损失。Riemann-1.0 将流匹配目标应用于两个预测头。视觉潜变量头预测噪声潜变量的速度动作头预测嘈杂动作token的速度最终目的标在视觉动态和动作预测之间取得平衡。损失掩码。潜损失和动作损失分别应用不同的有效性掩码。潜掩码排除了填充帧和集数边界处的无效潜帧。动作掩码排除填充动作通道、填充帧和无效的低级动作步骤损失仅在有效的通道步元素上归一化而非整个填充张量。这种掩码策略对于多身体训练至关重要因为不同机器人占据共享填充动作空间的不同子集。在噪声注入时也应用相同的效度信息。无活缓冲区对干净采样、注入噪声、噪声采样和速度目标保持为零。这避免了训练测试与测试不匹配的情况即填充信道在训练时包含随机高斯噪声而在部署时则为零。自回归在线推断。训练注意掩码自然促进在线自回归推断KV缓存不断增长。在一集开始时第一个打包后的多视角帧被编码为z_0初始状态s_0被嵌入为干净状态tokens。这些tokens与文本嵌入一起初始化缓存。自回归在线推断过程如图6所示。在去噪步骤t时模型采样一个高斯噪声作用张量并利用流调度器对其进行去噪同时关注缓存的干净历史和文本条件。生成的干净动作块 _ 会被添加到缓存中并用于 apf 低级控制步骤的执行。随后环境会返回与已执行动作和最终状态对应的新多视角观测。然后这些观测会被打包编码为 _并与 _ 一起添加到缓存中作为下一步的干净上下文。这一过程要求动作生成先于相应的视觉潜变量更新。在真实机器人执行时下一个潜变量是通过编码环境返回的实际观测获得的。在仿真过程中相同的因果上下文连同生成的动作块会输入潜变量头部预测的视觉潜变量会被解码为模拟的相机观测。对于长时间的滚动预测缓存会在滑动时间窗口内维护。一旦窗口满了缓存会被重置最新的观测会成为新的上下文帧从而实现持续在线控制同时保持因果一致性。Riemann-1.0 采用三阶段课程进行训练逐步将监督从仅视频的伪动作转向真实动作轨迹。设计这个方法的原因是一个实际的数据不平衡问题仅视频数据量大且视觉多样但缺少可执行的机器人动作而真实动作数据集虽然较小却能直接监督机器人行为。第一阶段使用冻结的潜动作模型LAM来训练大规模未标注视频并进行伪动作监督。第二阶段在混合语料上将模型落地包括 UMI 演示、机器人轨迹和带有 3D 手部标注的人类视频。第三阶段继续使用高质量的仅机器人数据以增强可执行控制。在所有阶段中模型都优化相同的动作-视频目标。该整体的三阶段预训练框架如图7所示1. 预训练阶段一LAM-动作引导。第一阶段仅使用未标注的人类操作视频。由于这些视频提供了丰富的视觉交互信息但缺少可执行的动作标签因此先训练一个潜动作模型LAMRoutray, 2025然后将其冻结作为伪动作标注器。该阶段的目标是让 WAM 在真正的机器人动作标签可用之前先接触大量的操作动态。LAM 通过在两帧之间的运动强制通过一个紧凑的潜瓶颈来提供这一桥梁从而使推断得到的潜编码能够捕捉动作会引起的潜视觉变化并可作为 WAM 训练的伪动作监督。LAM 被训练为处理相邻视频帧对的潜动作 VAE。给定两帧 (_, _1)编码器将每帧分割成 16 × 16 的图像块并在每帧的 token 序列前加上一个可学习的动作提示 token。一个时空 Transformer 处理两帧 token 序列让未来帧的提示 token 能够关注当前视觉状态和结果视觉变化。未来帧动作提示 token 的隐藏状态被投影为高斯矩, log ^2定义了一个 32 维潜动作空间的后验分布。通过重新参数化技巧采样潜动作并注入解码器解码器接收当前帧的视觉块并重建下一帧。这个架构防止解码器直接看到 _1为了最小化重建误差潜在瓶颈必须编码解释 _ 如何演变为 _1 所需的转移信息。LAM 的目标函数L_LAM结合下一帧重建和弱 KL 正则项。KL项故意较弱其作用是正则化潜分布同时避免过渡码崩溃成过于泛泛的先验。训练后使用后验均值μ而非抽样的潜变量作为确定性伪作用从而消除在注释大型视频语料库时的采样噪声。在WAM预训练期间冻结的LAM会密集地覆盖每个视频窗口。对于密集流中每对相邻帧LAM预测一个伪过渡码。这些代码随后被归类为 λ0.5平衡学习并与WAM时间界面对齐的动作块每个视觉潜表示对应一小块低层级类动作的过渡。同时同一片段被WanVAE时间采样并编码为视觉潜表示第一个潜表示作为上下文其余潜表示作为未来视觉目标。因此第一阶段以与后续在真实机器人数据中看到的相同结构化输入即视觉潜表示、状态似token和密集的动作类块尽管原始视频中没有动作注释。此阶段不用于学习可部署机器人策略;当λ0.1时它主要初始化视觉动力学骨干并教授模型如何将类似动作的运动tokens与未来的视觉变化相关。第二阶段轨迹接地对准。第二阶段用混合多具身语料库中的动作轨迹替代伪动作。数据包括UMI演示、机器人轨迹以及带有3D手部姿势和关键点的人类视频。这些来源提供更可靠的动作监督而仅仅存在于视频数据同时仍涵盖多样的视角、对象、任务和具身。每个轨迹都转换为相同的WAM时间界面视觉帧根据实例的摄像机布局打包调整大小至模型分辨率并编码为VAE潜帧;动作被分组成密集的块对应每个视觉潜对象;而状态则由初始状态加上每个潜表示跃迁后的一个状态组成。对于异构机器人动作矢量和状态矢量被映射到具象特有的典范阶并用每个具象统计量进行归一化并填充到模型使用的共享张量格式中。该阶段使用λ0.5使动作预测成为中心训练信号同时保留视觉潜表示预测作为动力学正则化。其目标是将自回归动作视频界面建立在真实轨迹监控基础上并将共享骨干线对齐于不同的摄像机布局、动作空间和机器人身体。与第一阶段相比监督不再只是视觉运动的潜在解释;它现在包含了可根据具体化体被解读为末端执行器运动、抓握器指令、关节指令或手势变化的轨迹。这使得行动流在保持从纯视频数据中获得的广泛视觉动态的同时更加具有政策相关性。第三阶段机器人策略增强。最后的预训练阶段仅使用高质量的机器人演示并有真实的动作状态监督。排除了人体视频数据、LAM伪动作、UMI轨迹和3D手部姿势的人体轨迹。在前一阶段建立了广泛的视觉动态和跨具身轨迹对齐后这一阶段进一步提升了模型可执行动作的分布能力。将作用权重提高到λ0.9因此优化主要关注状态条件作用预测和轨迹一致性而潜目标则继续正则化所学的动力学。最终模型保留WAM的动作条件视觉预测能力但其策略动作头更偏向机器人可执行行为。在实际操作中这一阶段减少广泛预训练数据与下游机器人部署之间的不匹配模型已经学会动作与观察之间的相互作用而仅机器人阶段则将这一事先校准以适应真实执行器惯例、丰富的接触执行和策略稳定性。2. 后训练在预训练之后对 Riemann-1.0 进行后训练以便在下游任务之前调整其通用操作先验。后训练设置包括真实世界的部署任务和模拟基准。为了进行真实世界评估收集四个任务的远程操作数据。在有序方块堆叠任务中机器人需要按指定颜色顺序堆叠四个彩色方块这测试精确操作和指令执行能力。在折叠衣物任务中机器人必须操作可变形体这测试预训练的动力学先验是否能适应非刚性交互。在桌面整理任务中机器人整理桌面上的纸巾、玩具、充电器、胶带、积木和笔这需要长时序规划和精细的物体处理。在厨房整理任务中机器人将勺子、叉子、碗和盘子放到厨房架子上这测试在杂乱家庭场景中的长时操作能力。对于每个真实世界任务收集三小时的远程操作演示。没有训练任务专用的单独模型而是将所有收集的演示数据汇总共同微调一个能够执行所有任务的通用模型。此外与预训练阶段相比在后训练中将动作损失权重提高到 0.95从而提升动作执行性能。真实世界实验后训练数据和设置在大规模预训练之后进一步通过真实机器人后训练将 Riemann-1.0 适配到现实部署中。在天机 Marvin 双臂机器人上构建四个具有代表性的操作场景有序积木堆叠、衣物折叠、桌面整理和厨房整理。这些任务涵盖了顺序约束的刚性物体堆叠、可变形体操作、长周期桌面重排和长周期厨房存储形成一个紧凑但具有挑战性的家庭机器人部署任务组合。通过人工遥控为每个任务收集 15 个示范。在有序积木堆叠中机器人按照语言指令识别彩色积木并按照指定的颜色顺序堆叠成四层。四层堆叠大大增加了难度底层的小对齐误差会在后续放置中被放大而单层错位可能会导致整个堆叠不稳定。因此该任务要求准确的物体颜色和姿态视觉识别、抓取顺序规划以及精确的取放执行。在衣物折叠中机器人操作的是可变形的衣物而不是刚性物体。衣物在接触过程中可能起皱、拉伸和姿态漂移因此机器人必须根据观察到的状态持续调整操作策略。这个任务重点考验可变形物体感知、双手协调以及精细接触控制能力。在桌面整理中机器人必须识别并将多件分散的桌面物体重新摆放到指定位置。一个关键难点是将细长物体如钢笔插入笔筒中这需要准确感知钢笔姿态和笔筒开口利用笔筒边缘将钢笔重新调整为垂直姿态然后通过夹爪控制完成精确插入。在厨房整理中机器人必须完成厨房场景下的端到端整理任务。它首先定位并抓取餐具如叉子和勺子然后将其放回指定存放区域。它还需要抓取黄色和红色盘子并垂直插入晾干架叠放碗并将碗叠放在架子的上层这要求长周期序列操作以及在杂乱环境下进行稳定摆放。在相同的真实操作环境下将 Riemann-1.0 与代表性的开源 VLA 和 WAM 基线进行比较包括 DreamZero、0-WM、LingBot-VLA、0.5、LingBot-VA 及 G0.5。对于 DreamZero用官方开源实现进行复现在收集的大规模操作数据集上训练一个 5B 规模模型记为 DreamZero*。仿真实验略 Riemann-1.0：面向物理AI 的具身世界动作模型
26年7月来自黎曼动力的技术论文“Riemann-1.0: An Embodied World Action Model for Physical AI”。物理人工智能Physical AI正推动人工智能从单纯理解数字世界向感知、推理并作用于物理世界演进。世界动作模型World Action Models, WAMs已成为联合建模机器人动作与世界动态的有效范式。然而现有方法难以有效利用异构具身经验包括以人为中心的视角视频、手持夹爪演示如 UMI以及异构机器人轨迹且缺乏用于联合建模机器人动作、状态及世界演化的统一因果表述。Riemann-1.0是一个专为具身智能设计的全因果自回归世界动作模型。Riemann-1.0 在统一的因果自回归序列中联合建模多视角视觉观测、机器人状态及特定具身的动作将机器人动作与世界演化表述为因果状态转移。与基于联合生成、视频优先预测或解耦建模范式的现有 WAM 不同Riemann-1.0 将在线机器人策略执行与动作条件下的世界仿真统一于单一模型中使其既能作为可执行的机器人策略又能作为多具身视觉世界模拟器。为了跨异构数据源扩展具身经验其进一步开发一种渐进式具身预训练框架在统一的世界动作建模目标下整合来自以人为中心的视角视频、手持夹爪演示及异构机器人轨迹的学习过程。基于包含超过 20 万小时交互数据的统一具身数据基础设施Riemann-1.0 将大规模具身经验渐进式地转化为可执行的机器人操作能力。Riemann-1.0 在仿真基准测试和真实世界操作任务中均取得业界领先的性能。Riemann-1.0 是一种面向具身智能的全因果自回归世界动作模型如图 1 所示。该模型将机器人交互建模为涵盖多视角视觉观测、机器人状态及特定具身动作的统一因果自回归序列其中机器人动作与环境演变均被表述为因果状态转移过程。这种全因果建模方式与现实世界机器人的交互过程自然契合使得单一模型既能充当可执行的机器人策略又能作为支持多具身形态、以动作为条件的视觉世界模拟器。为了有效利用大规模具身经验进一步提出“渐进式具身预训练”Progressive Embodied Pretraining方法。这是一项包含三个阶段的课程学习策略旨在将具身知识从弱监督形式逐步迁移至可执行的机器人控制能力。该课程遵循从弱监督具身知识学习到可执行动作对齐再到特定具身形态策略增强的自然演进路径实现从大规模具身经验到可执行机器人操作任务的持续能力迁移。具体而言首先利用冻结参数的潜动作模型LAM将大规模无标注的第一人称视角egocentric视频转化为潜动作表征从而为预训练提供可扩展的弱动作监督信号。随后通过结合人工标注的 3D 第一人称视角视频、手持夹爪演示数据以及异构机器人轨迹数据将潜动作与不同具身形态下的可执行机器人动作进行逐步对齐。最后利用高质量机器人轨迹数据对模型进行微调使其专精于特定具身形态的动作生成及下游机器人策略学习。大量实验表明Riemann-1.0 在仿真基准测试及长时程现实世界操作任务中均达到了业界领先水平。该模型在 RoboTwin2.0 (Chen et al., 2025a) 上的成功率为 94.3%在 LIBERO (Liu et al., 2023) 上为 99.0%在长时程组合任务基准 RoboCasa-365 (Nasiriany et al., 2026) 上达到 62.6%较现有最佳方法高出 8.4 个百分点。在长时程的现实世界操作任务中该方法实现了 85.0% 的成功率SR和 94.4% 的进展成功率PSR其中成功率比最强的开源基线高出 15 个百分点。这些结果表明将“全因果世界动作建模”与“渐进式具身预训练”相结合能有效地将大规模具身经验转化为具有泛化能力的长时程机器人操作能力。扩展“世界动作模型”World Action Models在根本上依赖于扩展具身经验而不仅仅是扩展机器人轨迹。然而具身经验在本质上是异构的涵盖以自我为中心的人类视频、手持夹具演示以及机器人轨迹等多种形式。这些数据源在观测模态、动作表征、时间粒度和监督保真度方面存在显著差异使得统一的大规模预训练面临根本性挑战。为了应对这一挑战构建一个统一的具身数据基础设施能够自动将异构的具身经验转化为通用的动作-级”视频-状态-动作”表征。该基础设施由三个紧密耦合的组件构成多源具身经验采集、统一具身数据引擎以及结合多源数据平衡的渐进式监督机制。这些组件协同工作生成一个可扩展的预训练语料库其中包含超过 20 万小时、涵盖数千种交互技能的具身经验为世界动作建模奠定了数据基础。1. 多源具身经验构建一个大规模具身经验语料库包含超过 23 万小时的具身经验其中包括 20 万小时以自我为中心的人类视频、1.2 万小时手持夹具及可穿戴设备演示以及 2 万小时异构机器人轨迹。该语料库涵盖了家庭、办公室和工业等多种环境囊括了数千种交互技能及广泛的机器人形态。这三种数据源提供互补的监督信号。以自我为中心的人类视频提供最丰富的现实世界交互、以物体为中心的操作技能以及长程任务组合的多样性。手持夹具和可穿戴设备演示提供了结构化的末端执行器轨迹自然地连接了人类交互与机器人兼容的控制方式。机器人轨迹则为下游策略学习提供了精确的、特定于形态的状态信息以及可直接执行的动作。这些数据源并非冗余而是相互补充人类视频提供可扩展的交互知识手持夹具演示缩小人类与机器人之间的形态差异而机器人轨迹则提供了可执行的控制监督信号。它们共同为“渐进式具身预训练”建立了一个自然的监督层次结构。2. 统一具身数据引擎如图 2 所示尽管这三种数据源提供了互补的监督信号但它们的原始格式却截然不同。以自我为中心的人类视频提供了带有弱语言监督的视觉观测手持式夹爪演示提供了结构化的末端执行器轨迹和夹爪状态而机器人数据集在具身特定状态、动作空间、坐标系和控制频率方面存在显著差异。直接合并这些异构数据源会导致监督不一致和优化不稳定。为了统一异构具身经验构建一个统一的具身数据引擎将所有数据转换为通用的动作级轨迹表示该表示包含语言指令、具身身份、视觉观测、状态、动作和语义元数据。对于每种具身形态状态和动作流在时间上进行对齐、归一化并按照具身特定的规范定义进行组织同时有效性掩码validity masks处理可变维度的动作而无需强行将异构具身形态纳入共享的物理动作空间。这种统一表示充当异构具身数据与“世界动作建模”World Action Modeling目标之间的标准化接口。针对以自我为中心的人类视频首先进行视觉归一化随后应用基于分层视觉-语言模型VLM的标注流水线将长视频片段逐步分解为任务级和动作级片段并附带结构化语义标注包括任务、动作、场景、操作对象及时间边界。在任务级和动作级进行的一致性验证进一步提高了标注的可靠性。为了连接视觉交互与可执行动作进一步从纯视频形式的自我中心人类数据中重建连续的3D手部轨迹。首先通过手部检测与追踪建立时间上一致的手部轨迹随后利用基于MANORomero et al., 2022的方法进行3D手部重建以恢复手部关键点、手腕姿态及MANO参数。与此同时VGGT-ΩWang et al., 2026a负责估计相机内参和帧级相机姿态从而使手部轨迹能够在自我中心相机运动下统一于同一坐标系中。轻量级的时间精修步骤进一步抑制了抖动和短期漂移生成了用于大规模预训练的时间连续手部动作轨迹。最后语义一致性、交互完整性、手部动作、可见性和相机运动会被综合评估以保留高质量的交互片段。与第一人称人类视频不同手持夹具演示和机器人轨迹已经提供了结构化的控制监督。因此它们的处理主要集中在时间对齐、动作规范化和轨迹质量过滤。夹具状态的转换被用来优化动作边界而相机抖动过滤、末端执行器静止排除以及异常控制过滤则进一步提高了数据质量。处理完成后所有数据源都会被转换成在统一语义分类下的、时间上对齐的动作级视频–状态–动作轨迹从而实现跨不同实体的可扩展世界动作建模。3. 渐进式监督与数据平衡处理后的语料库形成了一个监督连续体动作保真度逐步提升而不是简单地分为标注数据和未标注数据。大规模自我视角的人类视频首先通过冻结的潜在动作模型生成的伪动作提供了广泛的互动动态和弱动作监督。随后带有重建3D手部轨迹的人类视频、手持抓取演示以及异构机器人轨迹为视觉-动作对齐提供连续的真实动作监督。最后高质量的机器人轨迹将模型专门化用于体现特定动作预测和闭环策略执行。这种监督层级自然对应了Riemann-1.0的三阶段训练课程使模型能够逐步从开放世界的交互知识过渡到可执行的机器人控制。原始语料在数据来源、场景、任务、技能、物体和机器人体现方面存在严重的长尾分布。我们没有单纯地平衡原始数据量而是建立了统一的语义分类体系并在多个语义维度上执行语义感知采样。这一策略在保持大型人类数据规模优势的同时确保对长尾操作技能和低资源机器人体现有足够的暴露。总体来说数据基础设施将异构体现经验转化为可扩展的世界动作建模监督源使世界动作模型能够通过扩展体现经验持续改进而不仅仅依赖于机器人轨迹。1. 初步WAM 通过联合建模机器人动作及其视觉结果来捕捉机器人与环境的动态。给定任务条件 、视觉潜变量 _、机器人状态 _ 和动作 _WAM 可以建模控制和观测随时间的耦合演化。流匹配。流匹配学习一个连续的向量场将噪声样本传输到数据样本上。这种表述自然适用于世界动作建模使得视觉潜变量和连续机器人动作可以在统一的速度回归框架下进行优化。WAM范式的比较。现有的WAM范式主要在于它们如何建模机器人动作与未来视觉观测之间的交互从而在策略学习、视觉模拟和推理效率之间产生不同的权衡见图3所示。DreamZero 风格方法Ye2026b会同时对视觉潜变量和动作进行去噪。这种方法将动作和视觉生成紧密结合但需要联合建模不同维度、时间分辨率和优化特性的模态。视频优先方法比如 LingBot-VALi2026会先生成未来的观测然后根据预测的视觉轨迹推断动作从而引入额外的推理延迟。FastWAM 风格方法Yuan2026则通过使用两个独立的 DiT将视频和动作生成解耦提高模块化同时仍然将动作预测建立在预测的视觉特征上而不是因果交互历史上。相比之下Riemann-1.0 采用完全因果的自回归动作-视频方法其中机器人动作要么在线预测要么在生成未来视觉潜变量之前外部指定。这种完全因果的形式使得单个模型既可以作为可执行的机器人策略也可以作为基于动作条件的视觉世界模拟器。2. Riemann-1.0全因果的动作-视频世界模型Riemann-1.0 在动作和视觉潜变量上采用完全因果的自回归分解。如图 4 所示在每个自回归步骤中模型会根据之前的视觉观测、机器人状态和动作历史预测当前动作。然后将动作添加到因果上下文中并用作预测相应视觉潜变量的条件。这一顺序遵循真实机器人中的因果交互过程即动作先执行然后才观察到视觉结果。在策略部署时预测的视觉潜变量会被环境在动作执行后返回的真实观测所替换。在视觉模拟中预测的视觉潜变量会递归地反馈到模型中以生成未来的动作条件观测。机器人的状态 _ 并不是由模型生成的。相反它们是直接从环境中观察到的或者从记录的轨迹中回放并作为条件信号注入到下一个自回归步骤中。这种分解方式保留因果交互过程历史观察、机器人状态和先前动作决定下一个机器人的动作而这个动作反过来又影响下一个视觉过渡。得到的观察结果连同更新后的机器人状态就成为下一个自回归步骤的上下文。相比于 GIGA-World-PolicyYe2026a它从大规模视频生成预训练中继承视觉动态先验然后再将其适配用于机器人策略学习Riemann-1.0 在整个渐进式的具身预训练、训练后阶段以及部署过程中采用相同的完全因果动作-视频公式。在统一的世界动作建模目标下Riemann-1.0 从预训练开始就联合学习潜在或可执行动作及视觉动态使其动态先验可以直接由具身动作监督塑形而不是从通用视频生成目标转移过来。此外每一个预测或观察到的视觉结果都会递归地纳入因果交互历史用于后续动作预测实现长时间闭环交互。这种统一的公式最大限度地减少学习监督与在线执行之间的建模不匹配让学到的动作-世界动态能够自然地从大规模具身预训练转移到下游机器人策略学习。视觉预测就是在任务提示 、初始视觉潜变量 0 和初始状态 _0 条件下联合动作-视频展开的自回归分解。具体来说Riemann-1.0 根据前面的视觉、状态和动作历史预测动作并从同样的因果历史和当前动作生成每个未来的视觉潜变量。因此动作块不仅是策略输出也是视觉动态模型的条件输入这是 Riemann-1.0 能作为机器人世界模拟器的关键接口。输入、提示调控和归一化。语言条件指定任务指令以及机器人形态和摄像头视角配置“从具身 {embodiment_type} 录制的视频显示 {num_views} 个摄像头视角同时执行任务{task}。”语言条件通过 T5 编码器Colin, 2020编码并通过交叉注意注入到 Transformer 中提供语义任务和形态上下文。还使用数值形态 ID 来选择特定形态的动作/状态投影和预测头使异构机器人可以共享统一的主干同时保留形态特定的控制参数化。视觉观测被打包到统一的、特定形态的多视角画布中调整至模型分辨率使用 Wan VAEWan, 2025编码为潜表示并通过 3D 补丁嵌入转换为 Transformer token。第一个潜表示 _0 作为初始观测上下文而未来的视觉潜表示 _1∶ 则自动回归生成。动作和机器人状态被转换为特定形态的规范表示并使用每个形态的统计数据进行归一化。这种归一化消除坐标系、物理单位和动作维度的差异同时保留形态特定的控制语义使异构形态能够共享统一的世界动作建模接口。特定机器人的状态和动作接口。不同的机器人在动作维度、状态维度、坐标约定和语义布局上都有所不同。因此Riemann-1.0 共享 Transformer 的骨干网络同时为每种机器人特化输入和输出接口。对于某个机器人 原始的动作和状态向量首先会被转换为该机器人的规范顺序。然后它们会被填充到固定的模型维度 _ ≤ _ 和 _ ≤ _其中 _ 和 _ 分别表示最大动作和状态维度。原始的机器人 ID 会被映射到一个紧凑的类别槽该槽索引对应类别的动作和状态线性投影。动作预测头也是按类别特定的。因此这个模型能在不同机器人之间共享时间和视觉推理同时保留每种机器人特有的动作和状态空间。Token序列和时间对齐。对于每个训练样本Riemann-1.0 会将所有模态序列化成一个单一的 transformer 序列[上下文潜变量、干净潜变量、噪声潜变量、状态、干净动作、噪声动作]。上下文潜变量对应第一个观察到的帧。干净潜变量和干净动作token在因果掩码下作为教师强制的历史而噪声潜变量和噪声动作token则是需要去噪的流匹配目标。动作流在时间上比视觉潜变量流更密集。完全因果的训练目标。每个视觉潜变量总结一小段低级控制步骤这段长度由 VAE 的时间步长和帧采样率决定。在训练过程中动作序列会按潜变量分组因此每个预测出的视觉潜变量都会与对应的机器人动作片段配对。状态序列比潜变量序列多一个元素即初始状态以及每次潜变量转换后观察到的状态。这种组织方式将训练监督与推理过程中执行的因果展开对齐。为了匹配在线执行每次预测都不应访问在推理时不可用的信息。因此Riemann-1.0 采用结构化注意掩码而不是不受限制的自注意。干净的 token 会在因果掩码下关注之前观察的干净 token。在局部生成块内可以使用双向注意来建模块内结构。噪声目标 token 会关注之前的干净 token 以及同一噪声块内的其他 token但不会关注未来的干净 token。这可以防止来自未来观察的泄漏同时在已观察的轨迹前缀上保留教师强制。注意力掩码由三个 token 属性构建帧 ID、时间 ID以及干净/噪声标志。如图 5 所示干净 token 只关注当前或之前时间步的干净 token。噪声 token 会关注之前时间步的干净 token 以及同一帧内的噪声 token。填充 token包括文本填充 token会被屏蔽以确保可变长度序列的稳定训练。、潜变量与动作流匹配损失。Riemann-1.0 将流匹配目标应用于两个预测头。视觉潜变量头预测噪声潜变量的速度动作头预测嘈杂动作token的速度最终目的标在视觉动态和动作预测之间取得平衡。损失掩码。潜损失和动作损失分别应用不同的有效性掩码。潜掩码排除了填充帧和集数边界处的无效潜帧。动作掩码排除填充动作通道、填充帧和无效的低级动作步骤损失仅在有效的通道步元素上归一化而非整个填充张量。这种掩码策略对于多身体训练至关重要因为不同机器人占据共享填充动作空间的不同子集。在噪声注入时也应用相同的效度信息。无活缓冲区对干净采样、注入噪声、噪声采样和速度目标保持为零。这避免了训练测试与测试不匹配的情况即填充信道在训练时包含随机高斯噪声而在部署时则为零。自回归在线推断。训练注意掩码自然促进在线自回归推断KV缓存不断增长。在一集开始时第一个打包后的多视角帧被编码为z_0初始状态s_0被嵌入为干净状态tokens。这些tokens与文本嵌入一起初始化缓存。自回归在线推断过程如图6所示。在去噪步骤t时模型采样一个高斯噪声作用张量并利用流调度器对其进行去噪同时关注缓存的干净历史和文本条件。生成的干净动作块 _ 会被添加到缓存中并用于 apf 低级控制步骤的执行。随后环境会返回与已执行动作和最终状态对应的新多视角观测。然后这些观测会被打包编码为 _并与 _ 一起添加到缓存中作为下一步的干净上下文。这一过程要求动作生成先于相应的视觉潜变量更新。在真实机器人执行时下一个潜变量是通过编码环境返回的实际观测获得的。在仿真过程中相同的因果上下文连同生成的动作块会输入潜变量头部预测的视觉潜变量会被解码为模拟的相机观测。对于长时间的滚动预测缓存会在滑动时间窗口内维护。一旦窗口满了缓存会被重置最新的观测会成为新的上下文帧从而实现持续在线控制同时保持因果一致性。Riemann-1.0 采用三阶段课程进行训练逐步将监督从仅视频的伪动作转向真实动作轨迹。设计这个方法的原因是一个实际的数据不平衡问题仅视频数据量大且视觉多样但缺少可执行的机器人动作而真实动作数据集虽然较小却能直接监督机器人行为。第一阶段使用冻结的潜动作模型LAM来训练大规模未标注视频并进行伪动作监督。第二阶段在混合语料上将模型落地包括 UMI 演示、机器人轨迹和带有 3D 手部标注的人类视频。第三阶段继续使用高质量的仅机器人数据以增强可执行控制。在所有阶段中模型都优化相同的动作-视频目标。该整体的三阶段预训练框架如图7所示1. 预训练阶段一LAM-动作引导。第一阶段仅使用未标注的人类操作视频。由于这些视频提供了丰富的视觉交互信息但缺少可执行的动作标签因此先训练一个潜动作模型LAMRoutray, 2025然后将其冻结作为伪动作标注器。该阶段的目标是让 WAM 在真正的机器人动作标签可用之前先接触大量的操作动态。LAM 通过在两帧之间的运动强制通过一个紧凑的潜瓶颈来提供这一桥梁从而使推断得到的潜编码能够捕捉动作会引起的潜视觉变化并可作为 WAM 训练的伪动作监督。LAM 被训练为处理相邻视频帧对的潜动作 VAE。给定两帧 (_, _1)编码器将每帧分割成 16 × 16 的图像块并在每帧的 token 序列前加上一个可学习的动作提示 token。一个时空 Transformer 处理两帧 token 序列让未来帧的提示 token 能够关注当前视觉状态和结果视觉变化。未来帧动作提示 token 的隐藏状态被投影为高斯矩, log ^2定义了一个 32 维潜动作空间的后验分布。通过重新参数化技巧采样潜动作并注入解码器解码器接收当前帧的视觉块并重建下一帧。这个架构防止解码器直接看到 _1为了最小化重建误差潜在瓶颈必须编码解释 _ 如何演变为 _1 所需的转移信息。LAM 的目标函数L_LAM结合下一帧重建和弱 KL 正则项。KL项故意较弱其作用是正则化潜分布同时避免过渡码崩溃成过于泛泛的先验。训练后使用后验均值μ而非抽样的潜变量作为确定性伪作用从而消除在注释大型视频语料库时的采样噪声。在WAM预训练期间冻结的LAM会密集地覆盖每个视频窗口。对于密集流中每对相邻帧LAM预测一个伪过渡码。这些代码随后被归类为 λ0.5平衡学习并与WAM时间界面对齐的动作块每个视觉潜表示对应一小块低层级类动作的过渡。同时同一片段被WanVAE时间采样并编码为视觉潜表示第一个潜表示作为上下文其余潜表示作为未来视觉目标。因此第一阶段以与后续在真实机器人数据中看到的相同结构化输入即视觉潜表示、状态似token和密集的动作类块尽管原始视频中没有动作注释。此阶段不用于学习可部署机器人策略;当λ0.1时它主要初始化视觉动力学骨干并教授模型如何将类似动作的运动tokens与未来的视觉变化相关。第二阶段轨迹接地对准。第二阶段用混合多具身语料库中的动作轨迹替代伪动作。数据包括UMI演示、机器人轨迹以及带有3D手部姿势和关键点的人类视频。这些来源提供更可靠的动作监督而仅仅存在于视频数据同时仍涵盖多样的视角、对象、任务和具身。每个轨迹都转换为相同的WAM时间界面视觉帧根据实例的摄像机布局打包调整大小至模型分辨率并编码为VAE潜帧;动作被分组成密集的块对应每个视觉潜对象;而状态则由初始状态加上每个潜表示跃迁后的一个状态组成。对于异构机器人动作矢量和状态矢量被映射到具象特有的典范阶并用每个具象统计量进行归一化并填充到模型使用的共享张量格式中。该阶段使用λ0.5使动作预测成为中心训练信号同时保留视觉潜表示预测作为动力学正则化。其目标是将自回归动作视频界面建立在真实轨迹监控基础上并将共享骨干线对齐于不同的摄像机布局、动作空间和机器人身体。与第一阶段相比监督不再只是视觉运动的潜在解释;它现在包含了可根据具体化体被解读为末端执行器运动、抓握器指令、关节指令或手势变化的轨迹。这使得行动流在保持从纯视频数据中获得的广泛视觉动态的同时更加具有政策相关性。第三阶段机器人策略增强。最后的预训练阶段仅使用高质量的机器人演示并有真实的动作状态监督。排除了人体视频数据、LAM伪动作、UMI轨迹和3D手部姿势的人体轨迹。在前一阶段建立了广泛的视觉动态和跨具身轨迹对齐后这一阶段进一步提升了模型可执行动作的分布能力。将作用权重提高到λ0.9因此优化主要关注状态条件作用预测和轨迹一致性而潜目标则继续正则化所学的动力学。最终模型保留WAM的动作条件视觉预测能力但其策略动作头更偏向机器人可执行行为。在实际操作中这一阶段减少广泛预训练数据与下游机器人部署之间的不匹配模型已经学会动作与观察之间的相互作用而仅机器人阶段则将这一事先校准以适应真实执行器惯例、丰富的接触执行和策略稳定性。2. 后训练在预训练之后对 Riemann-1.0 进行后训练以便在下游任务之前调整其通用操作先验。后训练设置包括真实世界的部署任务和模拟基准。为了进行真实世界评估收集四个任务的远程操作数据。在有序方块堆叠任务中机器人需要按指定颜色顺序堆叠四个彩色方块这测试精确操作和指令执行能力。在折叠衣物任务中机器人必须操作可变形体这测试预训练的动力学先验是否能适应非刚性交互。在桌面整理任务中机器人整理桌面上的纸巾、玩具、充电器、胶带、积木和笔这需要长时序规划和精细的物体处理。在厨房整理任务中机器人将勺子、叉子、碗和盘子放到厨房架子上这测试在杂乱家庭场景中的长时操作能力。对于每个真实世界任务收集三小时的远程操作演示。没有训练任务专用的单独模型而是将所有收集的演示数据汇总共同微调一个能够执行所有任务的通用模型。此外与预训练阶段相比在后训练中将动作损失权重提高到 0.95从而提升动作执行性能。真实世界实验后训练数据和设置在大规模预训练之后进一步通过真实机器人后训练将 Riemann-1.0 适配到现实部署中。在天机 Marvin 双臂机器人上构建四个具有代表性的操作场景有序积木堆叠、衣物折叠、桌面整理和厨房整理。这些任务涵盖了顺序约束的刚性物体堆叠、可变形体操作、长周期桌面重排和长周期厨房存储形成一个紧凑但具有挑战性的家庭机器人部署任务组合。通过人工遥控为每个任务收集 15 个示范。在有序积木堆叠中机器人按照语言指令识别彩色积木并按照指定的颜色顺序堆叠成四层。四层堆叠大大增加了难度底层的小对齐误差会在后续放置中被放大而单层错位可能会导致整个堆叠不稳定。因此该任务要求准确的物体颜色和姿态视觉识别、抓取顺序规划以及精确的取放执行。在衣物折叠中机器人操作的是可变形的衣物而不是刚性物体。衣物在接触过程中可能起皱、拉伸和姿态漂移因此机器人必须根据观察到的状态持续调整操作策略。这个任务重点考验可变形物体感知、双手协调以及精细接触控制能力。在桌面整理中机器人必须识别并将多件分散的桌面物体重新摆放到指定位置。一个关键难点是将细长物体如钢笔插入笔筒中这需要准确感知钢笔姿态和笔筒开口利用笔筒边缘将钢笔重新调整为垂直姿态然后通过夹爪控制完成精确插入。在厨房整理中机器人必须完成厨房场景下的端到端整理任务。它首先定位并抓取餐具如叉子和勺子然后将其放回指定存放区域。它还需要抓取黄色和红色盘子并垂直插入晾干架叠放碗并将碗叠放在架子的上层这要求长周期序列操作以及在杂乱环境下进行稳定摆放。在相同的真实操作环境下将 Riemann-1.0 与代表性的开源 VLA 和 WAM 基线进行比较包括 DreamZero、0-WM、LingBot-VLA、0.5、LingBot-VA 及 G0.5。对于 DreamZero用官方开源实现进行复现在收集的大规模操作数据集上训练一个 5B 规模模型记为 DreamZero*。仿真实验略