该论文在受控协议下比较 Muon 与 AdamW 训练 Mamba-2 130M,并仅改变使用 Muon 的权重组。结果显示收益集中于输出投影:仅对输出投影使用 Muon 优于用于输入投影或两者同时使用,优势主要体现在 token 效率,并跨两个语料库、两个 token 预算及超出计算最优点的续训保持。
最近 24 小时暂无可用热度快照。