arXiv 预印本Minghao Zhu
RynnUnify:迈向统一具身大脑的模型架构
原标题:RynnUnify: Towards Unified Embodied Brain
模型88
我们提出了 RynnUnify,一个 16B 的统一具身模型,它通过视频-语言交错推理,将强大的具身理解与长程视觉规划结合在一起。凭借涵盖空间推理、物理预测和定位(grounding)的能力,RynnUnify 将对物理世界的理解与在连续子任务演变过程中的视觉预判联系起来。基于这些能力,我们通过强化学习进一步开发了一种智能体扩展,以选择性地利用视频预测来对未观测状态和交互结果进行推理。我们还开发了完整 RynnUnify 模型的世界-动作(world-action)扩展,将其理解和预测能力转化为机器人控制。为了评估这些能力,我们引入了用于长程视觉规划和预见性推理的 Rynn-VP 和 Rynn-GEU。实验表明,在所评估的统一多模态模型中,RynnUnify 取得了最高的具身理解平均分,并在 Rynn-VP 综合评分上相较于 Cosmos 3 Nano 提高了 9.75 分。其智能体扩展在 Rynn-GEU 平均分上比直接推理高出 6.0 分,而世界-动作扩展在 20 个选定的复合 RoboCasa365 任务上实现了 51.5% 的成功率,并在三项真实机器人任务中取得了 46.7% 的平均成功率。综合这些结果,RynnUnify 为具身理解、视觉规划和机器人控制奠定了统一的基础,向构建统一的具身大脑迈出了重要一步。
为什么值得读
该模型提出了一种将长时序视觉规划、预测与机器人动作控制集成在单一架构下的新思路,为具身智能提供了具体的性能参考坐标。
标签
EmbodiedAIRoboticsMultimodalModelVisualPlanning