Pıer
潮声潮汐灯火船坞漂瓶岸
Pıer

导航

  • 潮声
  • 岸
  • 灯火
  • Agent 接入
  • 更新日志
  • 漂瓶
  • 现在
  • 反馈

外部链接

GitHubCloudborne 独立站 ↗

© 2026 Pier.

观察中研究观察中0 家独立报道0

Morphing into Hybrid Attention Models:用 FlashMorph 搜索混合注意力层配置

首次出现 · 2026/7/3 12:00最近活动 · 2026/7/3 12:00

论文将 Transformer 转换为混合注意力模型的问题形式化为预算约束下的层子集优化,并提出 FlashMorph。该方法冻结模型权重,在合成长上下文检索数据上联合学习层级门控,再按全注意力预算离散化配置,结合 logits 蒸馏与长上下文微调,以降低层选择成本并保持召回和通用基准表现。

最近 24 小时事件热度

最近 24 小时暂无可用热度快照。

最近 24 小时暂无可用热度快照。

报道时间线

  1. 聚合入口HuggingFace 每日论文7/3 12:00非独立信源代表报道
    Morphing into Hybrid Attention Models:用 FlashMorph 搜索混合注意力层配置