阅读原文
arXiv 预印本Jiahong Zhang论文84

SpikingNav:采用脉冲神经策略实现稳健具身导航

原标题:SpikingNav: Robust Embodied Navigation with Spiking Neural Policies

具身导航要求智能体根据物理环境中的以自我为中心的观测结果做出序列决策。现有基于人工神经网络(ANN)的导航模型已取得出色性能,但通常依赖密集计算,并且在视觉受损情况下性能可能下降。脉冲神经网络(SNN)提供事件驱动计算和内在的时间动态特性,有望在资源受限的平台上实现紧凑且鲁棒的导航。然而,基于脉冲的感知和策略动态能否提升视觉丰富的具身导航鲁棒性,仍是一个悬而未决的问题。本文提出了 SpikingNav,一种用于鲁棒室内具身导航的脉冲框架。该框架包含脉冲感知编码器(SSE)和脉冲策略网络(SPN)。SSE 通过基于脉冲的骨干网络提取任务条件视觉特征。SPN 则通过膜电位积分、阈值判断和脉冲触发的重置来维持循环策略状态。借助这种方式,SpikingNav 利用 SNN 的动态特性和脉冲激活机制,提升导航性能与鲁棒性。我们在干净观测和视觉受损条件下,使用 PointNav 和 ObjectNav 对 SpikingNav 进行了评估。与匹配的 ANN 基线相比,SpikingNav 在干净观测下取得了具有竞争力的性能,同时以更少的参数量和更低的单步计算量实现了更强的鲁棒性。例如,SpikingNav 将 ObjectNav 的成功率从 31.05% 提升至 34.12%,并将视觉受损条件下的平均成功率从 8.45% 提升至 13.71%,展现了基于脉冲的感知和策略动态的优势。我们进一步在 Thruster-V2 神经形态芯片上验证了所提出的基于脉冲的感知方法的可部署性。这一物理硬件验证表明,SpikingNav 可以在真实的神经形态基底上实例化,从而应用于信息物理系统。

为什么值得读

视觉扰动与端侧算力同时限制具身智能落地,这项工作把鲁棒导航指标与真实神经形态芯片验证放在同一实验框架中,值得及时跟进。

标签

具身智能脉冲神经网络导航神经形态计算鲁棒性ObjectNavPointNav端侧AI