Transformer 的黎曼注意力机制：理论框架与架构设计

论文提出以学习得到的逐词元黎曼度量替代欧氏内积，并设计 Fiber Bundle Transformer。摘要声称异构度量产生不可由低维 QK^T 分解的非 Gram 注意力分数，低秩度量可降低几何运算成本；但作者明确尚未证明其能避免秩坍缩，也未提供实验验证。