β-OPSD：用策略优化推导，以自蒸馏训练
原标题:β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation
AI 导读
论文指出，在线策略自蒸馏（OPSD）正是带参考策略KL约束的策略优化族中β=1的特例，并提出可调正则系数β。β-OPSD通过参考策略与特权教师策略的token级logit混合构造蒸馏目标，以低成本近似高方差的强化学习优化，同时引入return-to-go信用分配；数学推理实验显示其稳定性和下游性能优于vanilla OPSD。
为什么值得读
OPSD正在被用于推理模型训练，而β-OPSD把其脆弱的固定约束转化为可调旋钮，值得及时关注其稳定性收益能否复现。
深度解读
1. 发生了什么
原始事实： 论文提出β-OPSD，并将vanilla OPSD解释为该策略优化族中β=1的特例。作者报告，β-OPSD在数学推理基准上比vanilla OPSD具有更好的优化稳定性和下游推理表现。
2. 核心技术
原始事实： β表示参考策略KL约束的权重，用于控制学生策略接近参考策略与接受特权教师指导之间的权衡。论文推导出最优策略是参考策略和教师策略之间的几何插值，并通过混合两者的token级logits构造蒸馏目标。
分析： 该设计把昂贵的策略优化问题转化为一次可执行的监督式蒸馏近似；β则成为调节更新幅度和教师影响力的显式控制量。
3. 关键证据与数字
原始事实： 摘要明确给出β=1对应vanilla OPSD，并称β-OPSD在数学推理实验中“consistently outperforms”vanilla OPSD，同时改善优化稳定性和下游性能。摘要未提供具体基准名称、模型规模、提升幅度或实验次数。
4. 为什么重要
分析： OPSD的实践难点往往来自训练不稳定、教师信号与参考策略偏离过大等问题。若β确实能稳定控制这两类信号的相对作用，研究者就能将此前隐含的固定设计转化为可调超参数，并更清楚地研究蒸馏与策略优化的关系。
5. 实际影响
原始事实： 方法不直接执行高成本、高方差的强化学习目标，而是使用闭式解对应的蒸馏目标；同时采用return-to-go信用分配，使token更新与序列级目标保持一致。
分析： 对已有OPSD训练管线而言，最可能的工程改动集中在教师与参考策略的logit组合、β调度或搜索，以及按序列回报分配token权重，而不一定需要完整替换为在线RL系统。
6. 局限与不确定性
原始事实： 当前提供的信息只来自摘要，无法判断β的最佳范围、额外显存或计算开销、教师策略的获得方式，以及方法在代码、知识、长程规划等非数学任务上的表现。摘要也未说明不同β值、教师质量和参考策略选择的消融结果。
未验证推断： 几何插值在token级logit空间中的有效性可能依赖教师与参考策略的校准、词表一致性和温度设置；这些影响需要正文或复现实验验证。
7. 原始来源
- arXiv 摘要页面
- 论文编号：
arXiv:2607.28582
以上判断中，带“原始事实”的内容来自用户提供的论文摘要；“分析”和“未验证推断”是基于摘要的解释。