詳しい解説 · 読了目安 5 分
MAI-Base-2の訓練解説：効率の改善と利用可能性は別々に確認する
総2.8兆パラメーターの基盤モデルについて、Microsoftがデータ反復と基盤設計を説明。効率の数字は利用可能な対話製品を意味しない。
- 原典の公開日
- 当サイトの公開日
- 出典確認日
Microsoft AIは10月15日、MAI-Base-2の事前学習について公開した。専門家混合モデルの総パラメーター数は2.8兆、トークン当たりの有効パラメーターは800億と報告している。今回の中心は学習方法と証拠であり、チェックポイントは後学習中だった。一般向けアシスタントや購読プランが提供開始されたという発表ではない。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- Microsoftによると、16,000基のGB200 GPUで38日間学習した。平均モデルFLOPs利用率は21%、goodputは89%で、両者は学習の異なる側面を測る。
- 保留テキストのbits-per-byteをそろえた場合、DeepSeek-V4-Pro-Baseに対するFLOPs効率を4.2–12.3倍と推定した。曲線からの比較であり、最終費用が同じ倍率で減ったという実測ではない。
1. 基盤チェックポイントと日常のアシスタント
事前学習はデータから予測構造を学び、後学習は指示への従い方やアプリケーションでの行動を整える。Microsoftが示したMAI-Base-2はその間の段階にある。有効パラメーター数は一つのトークンで選ぶ計算量を表す一方、より大きな総数は保存や導入にも関係する。どちらかの数字だけで必要メモリーや対話速度は決まらない。基盤を議論する資料にはなるが、すぐ使えるCopilot更新の証明にはならない。
2. 小さな実験でもデータの反復を再現する
規模を変える実験階段では、有効パラメーター当たりの学習トークン数を一定にする。加えて小規模実験の固有サンプル数を制限し、各ソースの反復回数を本番に近づける。50Tトークンの本学習で八周するデータなら、5Tの実験では十分の一のデータを八周する例が示された。小モデルが新しい例ばかりを見る条件で設定を選ぶ偏りを抑えるためだ。学習率と重み減衰も独立のつまみとせず、組み合わせて探索する。
3. 効率比較が答える範囲
bits-per-byteは予測損失を元テキストのバイト数で正規化し、トークナイザーの違いを減らす。Microsoftはコード、質疑応答、STEM、数学ごとに計算量と損失の曲線を当てはめ、最終チェックポイントも含めて参照モデルと同等の損失に必要な計算量を推定する。ただしMAI-Base-2の最終学習は参照より多くのFLOPsを消費した。他の比較対象には後学習済み版もあり、その影響も留保されている。ドル費用の削減率や全アシスタント共通の順位へ直接変換できない。
4. 疎な計算にも通信とメモリー設計が必要
Microsoftは専門家をグループ化し、トークン容量を固定する。過負荷の専門家は同じグループの空きを使い、それでも余ったトークンを捨てずに追加ラウンドへ送る。追加処理の時間と引き換えにメモリー量を抑え、送信、計算、回収を重ねる。さらに分散保存した最適化器のモメンタムを組み直し、Muonが完全な行列を扱えるようにする。最適化後のMuon処理は報告上165ミリ秒、平均反復の2.1%だった。特定の実装の結果であり、別のクラスターへの保証ではない。
5. データ品質も工学的な成果に含まれる
Microsoftは固有の学習トークンが約36%増え、知識の期限は2026年3月で、他モデルの蒸留ではなく社内で処理したと説明する。独立エンコーダーを持たない視覚言語コーパスは4.5Tの固有トークンを含み、反復込みでは50Tの学習混合量の18%を占める。固有データ量と累積の学習接触量は異なる。活性勾配のクリッピングは壊れたコード例から前処理の不具合をたどる手掛かりにもなった。安定性の監視はデータ修正にもつながり、量だけを増やす話ではない。
6. 検証できる工学上の主張として読む
開示はモデル選択を実際の時間に結び付ける。理論上の演算を減らしても、通信やメモリーの負担で遅くなる設計はあり得る。本サイトでは、これは実験を設計する材料であり、大きな数字だけで本番モデルを選ぶ十分な根拠ではないと考える。再現可能な処理、データの権利、後学習後の動作、導入制約を確認すべきだ。それまでは将来の提携先ライセンスを、現在のアクセスや料金、個人購読との比較から切り分けて読む必要がある。
注目する理由
本サイトの分析では、データ再利用、モデル構造、通信をまとめて評価する点が参考になる。企業の購入判断には、後学習済み版へのアクセス、導入条件、再現可能なタスク評価を別途確認する必要があり、学習方法の開示だけでは答えにならない。
制約と提供状況
性能数値はMicrosoftの報告であり、AISubHubの測定ではない。公開ブログの文章全体を確認したが、別添PDF全体や図表のコードを検証したものではない。Foundry経由で信頼する提携先に重みを許諾する意向は、MAI-Base-2の一般向けAPI料金や個人購読の権利を示していない。
出典と根拠
原典の公開日: 2026/10/15 · 出典確認日: 2026/10/20
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。