HuggingFace 每日论文Jian Gu
词汇参考系：在原生语义空间中解读大模型残差流
原标题:Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
论文82
传统投影透镜在解读模型残差流时通常采用固定方向。这篇论文提出“词汇参考系”（LexFrame），借助模型后续层自适应读取中间状态，在 SmolLM3 与 OLMo3 上将语义一致性提升至 0.97。这不仅让隐藏层能够精准溯源与定向干预，还支持在推理中跳过逾 40% 的计算层。
为什么值得读
它打破了静态透镜的局限，为残差流可解释性、精细特征干预与推理早期退出提供了自适应的统一视角。
标签
Mechanistic InterpretabilityResidual StreamTransformerModel SteeringEarly ExitSmolLMOLMo