Analyse approfondie · Environ 5 min de lecture
MAI-Base-2 : distinguer efficacité du préentraînement et accès au modèle
Microsoft détaille une base de 2 800 milliards de paramètres, la répétition des données et son infrastructure. Ces résultats ne constituent pas un assistant disponible.
- Date de la source
- Publié ici
- Source vérifiée
Microsoft AI a publié le 15 octobre son récit du préentraînement de MAI-Base-2. Le modèle à mélange d’experts compterait 2 800 milliards de paramètres au total, dont 80 milliards actifs. L’information porte sur la méthode et ses preuves : le checkpoint était encore en postentraînement, sans annonce d’un assistant ou abonnement accessible à tous.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Microsoft rapporte 38 jours sur 16 000 GPU GB200, une utilisation moyenne des FLOPs du modèle de 21 % et un goodput de 89 %. Ces mesures décrivent deux dimensions distinctes.
- L’efficacité estimée est 4,2–12,3 fois celle de DeepSeek-V4-Pro-Base à bits par octet équivalents sur les textes réservés. Il s’agit de courbes ajustées, pas d’une baisse mesurée de la facture finale.
1. Une base ne remplit pas le même rôle qu’un assistant
Le préentraînement apprend des structures prédictives dans les données ; le postentraînement façonne ensuite le suivi des instructions et le comportement en application. Microsoft situe MAI-Base-2 entre les deux. Les paramètres actifs décrivent le calcul sélectionné pour un token, tandis que le total beaucoup plus élevé reste pertinent pour stocker et déployer le modèle. Aucun de ces nombres ne détermine seul mémoire nécessaire ou vitesse interactive. Le texte documente une fondation, sans établir une mise à jour de Copilot prête à utiliser.
2. Les petits essais doivent reproduire la répétition
L’échelle de modèles conserve un nombre fixe de tokens d’entraînement par paramètre actif. Microsoft limite aussi les échantillons uniques des petits essais afin que chaque source soit répétée autant de fois : une source parcourue huit fois dans un entraînement de 50T tokens l’est aussi huit fois sur un dixième des données dans un essai de 5T. Cela évite de privilégier des réglages adaptés seulement aux exemples toujours nouveaux. Taux d’apprentissage et décroissance des poids sont explorés ensemble, leurs effets étant couplés.
3. Ce que mesure la comparaison d’efficacité
Les bits par octet normalisent la perte prédictive par les octets du texte original, limitant les écarts entre tokeniseurs. Microsoft ajuste séparément des courbes calcul/perte pour code, questions-réponses, STEM et mathématiques, en incluant son checkpoint final. L’équipe estime le calcul nécessaire pour égaler la perte de la référence. L’entraînement final de MAI-Base-2 a néanmoins consommé davantage de FLOPs que cette référence. Certains autres checkpoints comparés étaient déjà postentraînés. Ces résultats ne se convertissent donc directement ni en économie monétaire ni en classement universel des assistants.
4. La parcimonie exige encore mémoire et communication
Microsoft regroupe les experts avec une capacité fixe de tokens. Un expert surchargé peut employer la capacité libre de son groupe ; le surplus restant est traité lors de tours supplémentaires plutôt que supprimé. Ces tours échangent du temps contre une mémoire bornée, avec chevauchement de l’envoi, du calcul et de la collecte. L’équipe redistribue aussi le moment de l’optimiseur pour que Muon utilise des matrices complètes malgré le stockage réparti. Elle rapporte 165 millisecondes pour l’étape optimisée, soit 2,1 % de l’itération moyenne : résultat d’une implémentation, pas garantie pour un autre cluster.
5. Les données font partie du résultat d’ingénierie
Microsoft annonce environ 36 % de tokens uniques supplémentaires, avec une date limite de connaissances en mars 2026, un traitement interne et aucune distillation d’autres modèles. Le corpus vision-langage sans encodeur séparé contient 4,5T tokens uniques ; répétitions comprises, il représente 18 % du mélange de 50T. Volume unique et exposition cumulée sont différents. L’écrêtage des gradients d’activation a également permis de remonter d’un exemple de code mal formé à un défaut de prétraitement. La surveillance de la stabilité peut donc guider la réparation des données, au-delà de leur quantité.
6. Lire des affirmations techniques à vérifier
Le récit relie les choix de modèle au temps réel : une architecture peut économiser des opérations théoriques tout en ralentissant à cause de la communication ou de la mémoire. Selon notre analyse, cette transparence aide à concevoir des expériences, mais ne suffit pas pour sélectionner un modèle de production à partir de chiffres vedettes. Il reste à examiner tâches reproductibles, droits sur les données, comportement postentraîné et contraintes de déploiement. Les intentions de licence doivent rester distinctes de l’accès présent, des prix et des abonnements personnels.
Pourquoi cela compte
Analyse AISubHub : la leçon transférable consiste à évaluer ensemble réutilisation des données, architecture et communication. Un acheteur doit encore vérifier accès au checkpoint postentraîné, conditions de déploiement et évaluations reproductibles ; la description du préentraînement ne règle pas ces questions.
Limites et disponibilité
Les chiffres sont rapportés par Microsoft et non mesurés par AISubHub. Nous avons lu toute la prose du blog public, pas le PDF distinct ni le code des graphiques. Le projet de licence des poids via Foundry à des partenaires de confiance ne fournit ni tarif public d’API MAI-Base-2 ni droit associé à un abonnement personnel.
Sources et preuves
Date de la source: 15 oct. 2026 · Source vérifiée: 20 oct. 2026
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.