Loop the Loopies：循环式 MoE Transformer 以更少激活参数挑战同算力基线

论文提出 Loopie 循环式 Transformer 系列，包含 20B 总参数、2B 激活参数和 6B 总参数、0.6B 激活参数两个 MoE 模型。作者称，在相同预训练计算预算下，Loopie 超过 vanilla Transformer 基线及 30B-A3B 对照，并通过后训练获得无需工具的推理能力，在 2025 年 IMO 与 IPhO 达到金牌表现。