当注意力失明：ALiBi位置编码的数值失效

1. 发生了什么

原始事实： 论文报告了ALiBi位置编码此前较少被讨论的一种数值失效：随距离线性增长的偏置可能超出浮点数可有效表示的范围，使大量注意力权重下溢为零，受影响的注意力头因而只能看到部分上下文。

2. 核心技术

原始事实： ALiBi直接向注意力分数加入与token距离成线性关系的偏置。论文关注该偏置经过softmax后引发的有限精度下溢，并比较四种训练期缓解策略；摘要只明确指出其中一种是对距离进行对数缩放。

3. 关键证据与数字

原始事实： 作者进行了1.48亿参数解码器模型的综合预训练实验，并称也在采用ALiBi的先进预训练模型中观察到该现象。实验结论是：token或passkey检索可能显著受损，而常规解码器基准仅受到轻微影响；对数缩放距离在passkey检索上带来最一致的改善。摘要未披露具体分数、上下文长度、数值精度或受影响权重比例。

4. 为什么重要

分析： 如果常规语言模型基准对该故障不敏感，模型可能在平均指标正常时已经丧失远距离精确检索能力。这意味着长上下文评估需要同时覆盖语义任务和可控检索任务，并检查数值层面的注意力稀疏是否来自设计目标而非下溢。

5. 实际影响

分析： 使用ALiBi训练或部署模型的团队应记录计算精度，按层和注意力头检查softmax后零权重比例，并加入passkey及needle-in-a-haystack测试。新训练可评估对数距离缩放，但摘要也表明默认ALiBi斜率仍是有竞争力的基线，不应仅凭该故障描述直接替换。

6. 局限与不确定性

原始事实： 该材料是arXiv预印本摘要，尚不能确认同行评审状态；摘要没有列出全部缓解策略及完整实验数字。未验证推断： 故障严重程度很可能依赖浮点格式、softmax实现、上下文长度和ALiBi斜率，但这些依赖关系需以正文实验为准。所给发布日期为2026-08-04，时间元数据也应独立核验。

7. 原始来源

• arXiv摘要页：2608.03994
• 本条结论仅依据用户提供的标题、摘要与元数据整理，未添加未提供的实验结果或引用。