Logit-Contribution Scoring识别非字面检索注意力头

论文提出Logit-Contribution Scoring（LOCOS），通过分析注意力头OV电路输出对答案词反嵌入方向的贡献，识别负责语义合成式检索的头，而非仅检测字面复制。在Qwen3、Gemma-3和OLMo-3.1上，消融LOCOS选出的头显著破坏NoLiMa及多跳长上下文任务表现。