β-OPSD：用策略优化推导，以自蒸馏训练

论文指出，在线策略自蒸馏（OPSD）正是带参考策略KL约束的策略优化族中β=1的特例，并提出可调正则系数β。β-OPSD通过参考策略与特权教师策略的token级logit混合构造蒸馏目标，以低成本近似高方差的强化学习优化，同时引入return-to-go信用分配；数学推理实验显示其稳定性和下游性能优于vanilla OPSD。