基于轨迹的掩码扩散语言模型在线策略蒸馏

论文提出TOPD，一种面向掩码扩散语言模型的教师监督后训练方法。它从目标模型自身的去噪轨迹中采样部分解码状态，再用教师模型提供逐词分布，并以Reverse-KL进行对齐。在数学推理评测中，SDAR-4B-Chat达到与RL训练模型TraDo-4B-Instruct相当的MATH500准确率，静态和动态评测分别提升5.7和4.5， rollout轮数减少4倍。