HuggingFace 每日论文Zecong Tang
HiSTEVE 1.0:基于原生键鼠界面的开放世界分层 VLA 智能体
原标题:HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
论文83
虚拟智能体开始脱离特权 API,尝试像人类一样只依靠屏幕像素和键鼠输入完成复杂交互。HiSTEVE 1.0 采用分层架构与单一 VLA 控制模型,通过解耦 GUI 与视口控制并引入状态检测器,实现了从零合成铁镐等长程任务。其在 MineStudio 基准上取得 85.0% 的原子任务得分,长程规划与底层微操在原生接口下完成了对接。
为什么值得读
该工作展示了纯视觉与原生键鼠输入下长程规划与高频控制闭环的可行性,为虚拟具身智能体提供了兼顾通用性与底层操作的完整实现范式。
标签
Embodied AIVLAMinecraftReinforcement LearningAutonomous AgentsMultimodal