论文提出 W2S-OPD,通过正负弱模型的 logits 差构造代理教师,再让强学生在自身 rollout 上进行反向 KL 蒸馏。方法不依赖更大的教师或学生规模的专家训练,在四个数学和三个代码基准上据称优于传统 OPD,并可在所有监督源都弱于学生时继续提升能力。
最近 24 小时暂无可用热度快照。