阅读原文
arXiv 预印本Haoming Xu论文88

Mimir:面向交互环境具身智能体的动态 grounding 神经符号记忆系统

原标题:Mimir: A Neuro-Symbolic Memory System with Dynamic Grounding for Embodied Agents in Interactive Environments

长时域具身任务要求智能体在部分可观测环境下行动,同时保持对场景的信念和执行进度。扁平化历史记录或隐式策略状态可能包含过去的观测信息,但无法为判断哪些世界事实支持当前活动目标提供明确接口。我们提出了 Mimir,一种神经符号记忆机制,将世界记忆与任务记忆分离,并在每次行动前对二者进行动态 grounding。世界记忆维护物体位置、物体状态和感知证据,任务记忆则维护有序目标清单、进度状态、手部状态、失败记录和执行约束。grounding 模块将当前目标绑定到召回的世界候选项,补全缺失的源位置,并在规划和面向具身执行的具体操作之前附加证据。在测试的各种骨干模型上,Mimir 在不同的 EB-ALFRED 和 EB-Habitat 任务中均取得了稳定提升,最大提升幅度分别为 42.5% 和 23.0%。与在相同骨干模型下评估的既有智能体和记忆系统中的最佳结果相比,Mimir 将总体平均成功率提高了 8.5%。最后,在 EB-Habitat 长时域子集上,Mimir 达到了 86.0% 的成功率,显著优于当前的闭源模型。我们的代码将于近期发布。

为什么值得读

长时程具身任务的瓶颈往往是记忆与当前目标脱节,Mimir用显式状态和证据 grounding 直接针对这一接口,并报告了跨环境增益。

标签

具身智能记忆系统神经符号动态groundingEB-ALFREDEB-Habitat长时程任务