优化器状态应存在哪里？面向内存高效 MoE 训练的分层状态分配

论文提出 SkewAdam，按 MoE 的骨干网络、专家和路由器分配不同优化器状态：状态内存从 AdamW 的 50.6GB 降至 1.29GB，训练峰值从 81.4GB 降至 31.3GB。在 82M tokens 对比中，SkewAdam 验证集困惑度为 108.4，优于 AdamW、Muon 和 Lion。