RORA：从单段静态物体视频重建带关节的真实物体

通过 NeRF 和 3D 高斯泼溅（3DGS）等逼真视觉表示将现实环境复制到仿真中，已成为缩小机器人学习中仿真到现实差距的有效策略。然而，在从现实到仿真的过程中实现物体关节运动仍是一项具有挑战性的任务。现有的基于运动跟踪或学习的关节化方法，在具有多个关节的复杂运动结构上成功率较低。此外，这些方法需要扫描物体的动态运动，使重建过程变得复杂得多。在本研究中，我们提出了首个端到端流程：通过基于建议的人机协同过程，仅从单个静态物体视频输入中重建具有精确关节结构且可直接用于仿真的资产。我们的方法导出一种混合表示，将 3DGS 用于照片级真实感渲染，将基于网格的几何体用于物理交互。在重建过程中，我们的流程先进行凸分解，随后由用户进行分组，以实现直观的部件分割，之后将 3D 高斯绑定到对应的网格部件上。自动关节建议算法随后根据局部边界几何结构计算候选关节轴，并将其呈现给用户，从而高效地重建关节化资产。我们在 partnet-mobility-v0 数据集和真实物体上验证了该方法能够实现精确的关节运动效果。此外，我们还展示了该框架在机器人学习中的潜在应用：将重建的资产部署到 Unreal Engine 和 NVIDIA Isaac Sim 中，实现实时灵巧手操作任务。