这篇论文重新分析 Hyperball 类优化器的优势来源,引入结合更新角度、参数范数和更新范数的角有效学习率。实验表明,径向更新对角位移的直接影响有限,MuonH 与 MuonWD 的差异主要来自有效步长演化,而非更新方向本身;更激进的衰减可改善早期训练,却可能损害后期表现。
最近 24 小时暂无可用热度快照。