CADENCE：通过覆盖率自适应在线蒸馏弥合推理差距

CADENCE针对在线知识蒸馏中的冷启动崩溃、固定时间调度和二元奖励稀疏问题，引入覆盖率自适应KL混合、熵聚焦、数值接近度奖励等机制。在GSM8K和MATH-500上，0.5B学生模型从1.5B教师蒸馏后达到69.8% GSM8K pass@1，单机Mac Studio完成实验。