深度解读 · 约 5 分钟阅读
MAI-Base-2训练详解：效率提升与模型能否使用，要分别核实
微软公开2.8万亿参数基座的训练方法，涉及重复数据缩放、专家调度与优化器；效率数字不等于现成的聊天产品或订阅权益。
- 原文发布
- 本站发布
- 核实时间
微软AI团队于10月15日公布MAI-Base-2预训练说明，报告模型共有2.8万亿参数，每个词元激活约800亿参数。本次值得关注的是训练方法及其证据：基座仍在后训练，不能据此认定一个面向所有人的助手或订阅已经发布。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 微软报告使用16,000块GB200 GPU训练38天，平均模型FLOPs利用率为21%，goodput为89%；前者衡量有效计算利用，后者衡量训练实际向前推进的时间比例，不能混用。
- 团队按相同预留文本BPB水平，拟合得到比DeepSeek-V4-Pro-Base高4.2–12.3倍的FLOPs效率；这不是最终训练账单降低同样倍数的实测结论。
1. 预训练基座与日常助手，交付状态不同
预训练主要从数据学习预测结构，后训练再塑造遵循指令和执行应用任务的行为。微软把MAI-Base-2描述为正在进行后训练的基座，这一状态限制了我们能作出的判断。800亿激活参数表示单个词元选中的计算量，2.8万亿总参数仍影响存储与部署；只看其中一个数字，都不能得出所需显存或交互速度。它可以作为讨论下一代模型基础的依据，却不能当作Copilot已经升级、普通用户已经能用的证明。
2. 小实验也要重现大训练的数据重复
团队的缩放阶梯在改变模型大小时，保持每个激活参数对应的训练词元数不变，还会限制小实验可用的独立样本，让各数据源的重复次数与最终训练相近。原文的例子是：若某来源在50T词元训练中重复八遍，那么5T小实验只使用它十分之一的数据，也重复八遍。这样能减少小模型主要看到新样本、而大模型反复学习旧样本带来的配置偏差。学习率与权重衰减也联合搜索，不能把它们看成互不影响的旋钮。
3. 效率比较究竟回答了什么
BPB按原始文本字节归一化预测损失，可减少不同分词器导致的每词元损失不可比问题。微软针对代码、问答、理工和数学分别拟合算力与损失曲线，并把最终模型点纳入拟合，推算达到参考模型同等损失需要多少FLOPs。MAI-Base-2最终实际消耗的总FLOPs仍多于该参考模型；另外一些对照版本已经做过后训练，原文也提示这会影响比较。因此4.2–12.3倍不能直接换成美元成本降幅，更不能升级为所有助手任务上的统一排名。
4. 稀疏计算仍受通信和内存约束
微软把专家划分成组，每组使用固定词元容量。过载专家先借用组内空闲容量，仍处理不下的词元进入追加轮次，而不是丢弃；额外轮次用时间换取有界内存。派发、计算和收集会流水重叠。优化器方面，团队重新分片和聚合动量，让Muon在分布式存储条件下仍能处理完整矩阵。报告中的优化后Muon步骤为165毫秒，占平均迭代时间2.1%。这些是特定实现与集群的结果，不能保证换一套硬件仍有同样收益。
5. 数据质量也是工程结果的一部分
微软称独立训练词元比前代增长约36%，知识截止为2026年3月，数据在内部处理，而非蒸馏其他模型。无独立视觉编码器的图文语料含4.5T独立词元；计入重复后，占50T训练混合量的18%。独立语料大小与训练中累计接触量不是同一口径。团队还利用激活梯度裁剪定位异常代码样本，顺着样本找到预处理缺陷。这个例子说明，稳定性监控可以反馈到数据修复，不能只把扩大词元总量作为唯一目标。
6. 把它当作可验证的工程主张
披露把模型选择与实际耗时联系起来：某结构可能节省理论运算，却因通信和内存开销变慢。本站认为，这份说明适合帮助研究者设计后续实验，还不足以让买方凭几个大数字决定生产模型。下一步应核实可重复的任务、数据权利、后训练行为以及部署限制。上述条件尚未明确之前，未来伙伴权重许可应与当前实际访问、收费和个人订阅比较分开，不能替来源补出尚未发布的权益。
有什么影响
本站分析：可借鉴的是把数据重复、模型结构和通信成本放在同一实验里衡量。企业采购仍须另问后训练版本何时可用、部署条款和任务评测能否复现；训练方法披露本身不能回答这些问题。
限制与可用性
性能数字均为微软报告，本站没有复测。本篇完整阅读公开博客正文，没有宣称读完整份独立PDF或运行交互图表代码。来源提到未来通过Foundry向可信合作伙伴许可权重，未给出面向公众的MAI-Base-2 API价格或个人订阅权益。
来源与证据
原文发布: 2026年10月15日 · 核实时间: 2026年10月20日
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。