HuggingFace 每日论文Pan Wang
循环模型的长度泛化:通过进度对齐与范数锚定实现 16 倍外推
原标题:PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
论文80
循环大模型在推理时增加迭代步数,往往难以稳定转化为更长序列的求解能力。PAR 引入进度对齐与隐藏状态范数锚定,迫使每一步迭代严格对应一步状态转移。在基于 Qwen2.5-0.5B 的置换跟踪测试中,模型仅凭 32 步训练便在 512 步序列上保持 95.5% 的准确率,将循环深度有效外推至训练长度的 16 倍。
为什么值得读
明确揭示了循环网络深度外推失效的核心根源在于隐藏状态尺度漂移与步长脱靶,为推理时计算扩展提供了结构性解法。
标签
Looped TransformersLength GeneralizationRecurrent ModelsState TrackingTest-Time ComputeReasoning