Simon Willison 博客
Mistral 发布 Mistral Large 4 预览版:万亿参数 MoE 与月底开源承诺
原标题:Introducing Mistral Large 4: Le chonk
模型72
隆重介绍 Mistral Large 4:Le chonk(大块头)Mistral 强势回归。今天他们发布了 Mistral Large 4 的预览版,这是一个拥有 1 万亿参数、490 亿激活参数的模型,是在他们由 3,800 块英伟达 Grace Blackwell GPU 组成的自建集群上训练而成的。该预览版目前可通过其 API 获取。他们承诺将在“本月底”发布开放权重模型。通过 Mistral API,该模型仅支持两种推理级别——“none”(无)和“high”(高)。以下是两只鹈鹕的生成效果——“high”级别的看起来效果更好,不过令人惊讶的是,它仅消耗了 2,717 个输出 token,而“none”级别则消耗了 3,275 个:在 Artificial Analysis 评测中它的得分为 38 分,仅次于拥有 552B 参数的 DeepSeek 4.1 Flash。相比去年 12 月发布的 Mistral Large 3,这是一个巨大的飞跃——当时那个版本画出的鹈鹕惨不忍睹,在 AA 上的得分也仅有 9 分。它当然算不上 Fable 级别的模型,但很高兴看到 Mistral 拿出这样一款产品,将差距重新拉回到可能仅落后最前沿水平约 6 个月左右的状态。转自 Hacker News 标签:ai , generative-ai , llms , mistral , pelican-riding-a-bicycle , llm-release
为什么值得读
Mistral 重新拿出万亿级 MoE 架构并承诺开源权重,展现了欧洲团队在算力集群与前沿追赶上的最新实际进展。
标签
MistralMistral Large 4MoEOpen WeightsNVIDIA BlackwellLLM