视觉对比自蒸馏：仅靠输入条件改进视觉语言模型训练

论文提出视觉对比自蒸馏（VCSD），无需外部教师、标准答案、视觉证据或推理轨迹。方法让EMA教师在同一提示和回答前缀下分别观察原图与去除内容的控制输入，用两者的下一词概率差提取图像特有信号，并蒸馏回学生模型。在ViRL39K上，Qwen3-VL 2B、4B、8B的七项基准平均准确率分别由62.27%提升至67.04%、71.30%提升至73.16%、72.51%提升至76.26%。