论文指出，ALiBi的线性距离偏置可能因浮点精度下溢，使大量注意力权重归零并导致部分注意力头“失明”。作者通过1.48亿参数解码器预训练实验，将该问题与上下文外退化区分开来：其明显损害口令检索，却仅轻微影响常规解码器基准。四类训练期缓解方案中，对数缩放距离在passkey检索上改善最稳定。
最近 24 小时暂无可用热度快照。