论文介绍Soofi S 30B-A3B，一款德英双语混合Mamba-Transformer MoE基础模型，总参数30B、每个token仅激活3B，预训练约27万亿token。作者称其在长上下文和高并发推理中具备缓存与吞吐优势，并在17个开放基础模型比较中取得领先。模型由德国工业AI云训练，计划开放权重、部分检查点、数据账本、超参数及训练评测代码。
最近 24 小时暂无可用热度快照。