论文研究异步 GRPO 中 rollout 与策略优化解耦造成的陈旧样本问题,明确区分学习器使用的代理梯度与分布依赖目标的真实全导数。理论表明,最大滞后为 S、学习率为 eta 时,每步代理梯度偏差为 O(S·eta),并提出受批次裁剪半径与累计漂移共同约束的稳定性条件。
最近 24 小时暂无可用热度快照。