HuggingFace 每日论文Zi-Han Wang
AgentOPSD：面向智能体强化学习的递归自蒸馏
原标题:AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning
论文78
论文提出无 critic 的智能体强化学习信用分配方法 AgentOPSD：将师生模型的 token 级对数概率差聚合为轮次证据，并在对数赔率空间递归更新贝叶斯信念，以定位关键轮次。摘要称其无需额外 rollout，可兼容标准策略优化；在 ALFWorld、WebShop 和 Search-QA 上测试 Qwen2.5-3B/7B，其中 7B 在 ALFWorld 达到 89.1% 成功率。
为什么值得读
长程智能体训练的关键瓶颈是稀疏奖励下的轮次信用分配，而该方法声称无需 critic 或额外采样即可接入现有策略优化。
标签
AgentOPSDAgentic RLCredit AssignmentSelf-DistillationQwen2.5GRPOBayesian UpdatingLong-Horizon Agents