论文重新审视知识蒸馏中的表示匹配：预训练表示只在正交变换与各向同性缩放下具有等价性，学生应学习教师的表示等价类，而非绝对特征坐标。作者以Gram结构、CKA、主子空间和坐标对齐统一多种蒸馏方法，并在Qwen2.5与Llama-3.1上验证：CKA约0.99的表示恢复并不等于能力恢复，logit匹配才驱动输出函数恢复。
最近 24 小时暂无可用热度快照。