揭示语言模型中的潜在推理策略

本文研究如何将语言模型在推理任务中隐含且纠缠的多种解题策略，分解为由路由器选择、生成器条件化的潜变量表示。作者提出相对于基础模型损失衡量分数信息增益的变分目标，把重构压力集中到高惊讶度 token，以缓解后验坍缩，并在多策略算法任务上验证潜变量与参考策略的对齐，同时保持原模型响应分布。