Pıer
  • 潮声
  • 潮汐
  • 灯火
  • 船坞
  • 漂瓶
  • 岸
Pıer

香港时间 · --:--

导航

  • 潮声博客
  • 岸关于我
  • 灯火作品集
  • Agent 接入
  • 更新日志
  • 漂瓶留言
  • 现在
  • 反馈

外部链接

GitHubCloudborne 独立站 ↗Cloudborne 中转站 ↗

中文字体:霞鹜新致宋,衍生自 IPA 字体 · IPA 字体许可 1.0 · 原始字体下载 ·

© 2026 Pier.

阅读原文
HuggingFace 每日论文·Pan Wang·2026年10月19日 20:00

循环模型的长度泛化:通过进度对齐与范数锚定实现 16 倍外推

原标题:PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

论文80

循环大模型在推理时增加迭代步数,往往难以稳定转化为更长序列的求解能力。PAR 引入进度对齐与隐藏状态范数锚定,迫使每一步迭代严格对应一步状态转移。在基于 Qwen2.5-0.5B 的置换跟踪测试中,模型仅凭 32 步训练便在 512 步序列上保持 95.5% 的准确率,将循环深度有效外推至训练长度的 16 倍。

为什么值得读

明确揭示了循环网络深度外推失效的核心根源在于隐藏状态尺度漂移与步长脱靶,为推理时计算扩展提供了结构性解法。

标签

Looped TransformersLength GeneralizationRecurrent ModelsState TrackingTest-Time ComputeReasoning

评分依据

  • 新颖性84
  • 影响力78
  • 实践价值72
  • 可信度85
  • 时效性80