本文系统比较 SOAP、Muon 与 AdamW 在多十亿参数、万亿级 token 预训练中的表现，并针对大 batch 下 SOAP 的不稳定提出逐步 QR 正交化和改进预条件。实验称 SOAP 与 Muon 在测试规模持续优于 AdamW，最高支持 1 亿 token batch；作者还发布兼容 Megatron-LM 的分层分布式优化器实现。
最近 24 小时暂无可用热度快照。