Jet-Long 提出一种无需调优的零样本长上下文扩展方法,将保留原始 RoPE 的局部窗口与按序列长度动态调整缩放因子的远程窗口结合,并通过排除-包含注意力合并和在线旋转校正实现高效推理。在 Qwen3 1.7B/4B/8B 的 128K 测试中,RULER 分别领先最强基线 4.79、2.18、2.03 个百分点。
最近 24 小时暂无可用热度快照。