基于GS(Gaussian Splatting)的机器人Sim2Real2Sim仿真平台

项目地址：RoboGSim

背景简介

已有的数据采集方法中，遥操作（下左）是数据质量高，但采集成本高、效率低下；传统仿真流程成本低（下右），但真实度（如纹理、物理）欠佳，质量低；为了兼顾成本效率和数据真实性质量，本工作提出RoboGSim（上图），它是一个高效、低成本的仿真平台，具有高保真渲染能力。它通过新场景、新物体和新视角实现演示合成，从而促进Policy学习的数据扩展。此外，它能够执行闭环模拟仿真，以便对不同policy模型进行安全、公平和现实的评估。兼具低成本、高真实度的优势。

方法介绍

RoboGSim由四个模块组成：Gaussian Reconstructor, Digital Twins Builder, Scene Composer, 和 Interactive Engine，流程如下图所示：

Gaussian Reconstructor

本方法采用3DGS方法重建静态场景，然后对机器人手臂的关节进行点云分割。随后，我们利用MDH动态模型控制对应于每个关节的点云，从而实现机器手臂的动态渲染。3DGS利用一组多视角图像作为输入，以实现高保真场景重建。其将场景表示为一组高斯分布，并利用可微分光栅化渲染方法来实现实时渲染，能获得非常逼真的渲染图像。

Digital Twins Builder

通过 Real2Sim 布局对齐和 Sim2GS 稀疏关键点对齐可以数字化现实世界，使数字资产在现实、模拟和 GS 表现之间保持一致。

3D Assets Generation: 现实世界的物体采用COLMAP+3DGS进行重建，网络上的物体则使用Wonder3D+GaussianEditor进行重建；

Layout Alignment: 使用测量和几何的方法将重建3DGS场景与仿真器isaac-sim中的布局进行对齐

Scene Composer

场景编辑：基于相机和手臂之间的内外参，将场景转换到机械臂所在的坐标系；

对象编辑：使用上述同样的方法将操作对象转换到机械臂坐标系。

Interactive Engine

Synthesizer：使用引擎生成大量的训练轨迹，包括机械臂的运动和目标物体的轨迹。这些轨迹驱动3DGS生成大量的逼真模拟数据集，用于Policy学习。这些多样化的数据包括新颖视角的渲染、场景组合和物体替换。

Evaluator：Isaac Sim 输出物体和机械臂的状态，GS据此进行渲染。渲染图像被送入Policy网络预测下一帧动作，该动作被传递给仿真系统进行运动学逆向解析、碰撞检测和其他物理交互。Isaac Sim再将解析出的六轴相对姿态发送给GS渲染器，后者将渲染结果作为反馈发送回策略网络。这作为预测下一动作的视觉反馈，整个过程不断迭代，直到任务完成。

实验验证：从数据合成验证到闭环仿真

Real2Sim Novel Pose Synthesis

该实验目标是验证Real2Sim重建的性能，特别关注机器人手臂运动的准确性和图像纹理的保真度。静态场景是使用来自GT第一帧的机器人手臂初始姿势重建的。从真实机器人手臂收集的轨迹被用作驱动力，我们采用运动控制进行新姿态的渲染。RoboGSim 实现了31.3 PSNR和0.79SSIM的渲染性能，同时保证了10 FPS的实时效率。

Sim2Real Trajectory Replay

该实验中轨迹是通过Issac Sim收集的，然后该轨迹用于驱动GS渲染取可乐的场景，同一轨迹用于驱动真实机器抓取可乐罐。如上比较结果表明模拟policy与机械臂的实际物理行为之间存在强一致性，突显了本系统中Sim2Real转移的有效性。这些结果表明，我们的仿真能够可靠地模拟现实世界的动态，促进从仿真到现实世界的成功策略转移。

RoboGSim as Synthesizer

本实验是为了验证RoboGSim合成数据的有效性，在真实世界和RoboGSim环境中各采集了1000条数据，前者耗时40h，后者仅耗时4h，然后用来训练自研VLA，上表中展示了两者的成功率，从中可以看出，纯仿真数据训练后的VLA在真实环境中具有一定的成功率，具有明显效果。

RoboGSim as Evaluator

本实验主要探讨将RoboGSim作为Evaluator的有效性。给定经过训练的VLA，将其部署于真实世界的机器人和RoboGSim中，RoboGSim能够再现与真实世界相似结果。对于类似糟糕案例，也能够避免真实世界中存在的问题，如碰撞。因此， RoboGSim作为评估器为policy提供了一个公平、安全和高效的评估平台。