他们看到了什么？从视觉语言动作模型视角解释复杂道路场景

论文提出反事实视觉动作分析（CVAA），用逼真生成式修复从前视图像中逐一移除检测到的物体，比较其对自动驾驶规划行为的因果影响。作者在210个nuScenes场景上评估Alpamayo 1轨迹预测器，构建Counter-nuScenes，发现路径内车辆和行人影响最大，交通灯虽占据较小图像区域却具有不成比例的作用；部分模型还会强烈响应人类认为无关的物体，并进一步通过中间表征分析其内部机制。