Подробный разбор · Около 4 мин чтения
MAI-Base-2: эффективность обучения и доступность модели нужно проверять отдельно
Microsoft описывает базу с 2,8 трлн параметров, повторение данных и инфраструктуру. Эти показатели ещё не означают доступного ассистента или подписку.
- Дата источника
- Опубликовано здесь
- Источник проверен
15 октября Microsoft AI опубликовала описание предобучения MAI-Base-2. По данным команды, модель со смесью экспертов имеет 2,8 трлн параметров всего и 80 млрд активных. Суть новости — методика и её доказательства: контрольная точка ещё проходила постобучение. Это не устанавливает общедоступность ассистента или подписки.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Microsoft сообщает о 38 днях обучения на 16 000 GPU GB200, среднем использовании FLOPs модели 21% и goodput 89%. Показатели отражают разные стороны процесса.
- При одинаковых bits-per-byte на отложенных текстах эффективность FLOPs оценена в 4,2–12,3 раза выше DeepSeek-V4-Pro-Base. Это сравнение аппроксимированных кривых, а не измеренное сокращение итогового счёта в той же пропорции.
1. Базовая точка и ассистент — разные стадии
Предобучение извлекает из данных предсказательные закономерности. Постобучение затем формирует выполнение инструкций и поведение в приложениях. Microsoft помещает MAI-Base-2 между этими стадиями. Активные параметры описывают вычисления, выбранные для токена, а значительно больший общий объём остаётся важен для хранения и развёртывания. Ни одна цифра сама по себе не определяет память или скорость диалога. Публикация позволяет обсуждать основу, но не доказывает готовое к использованию обновление Copilot.
2. Малые эксперименты тоже должны повторять данные
Лестница масштабов сохраняет число обучающих токенов на активный параметр. Microsoft также ограничивает уникальные примеры в малых опытах, чтобы каждый источник повторялся сопоставимо: источник, который проходят восемь раз в обучении на 50T токенов, в опыте на 5T проходит восемь раз по одной десятой данных. Это уменьшает риск выбрать настройки, работающие только на постоянно новых примерах. Скорость обучения и затухание весов подбираются совместно, поскольку их эффекты связаны.
3. Что устанавливает сравнение эффективности
Bits-per-byte нормирует предсказательную потерю на байты исходного текста, уменьшая различия токенизаторов. Microsoft отдельно аппроксимирует вычислительные кривые потерь для кода, вопросов и ответов, STEM и математики, включая итоговую точку. Оценивается объём вычислений для достижения потери эталона. Однако фактическое итоговое обучение MAI-Base-2 израсходовало больше FLOPs, чем этот эталон. Некоторые другие сравниваемые точки уже прошли постобучение; источник оговаривает его влияние. Результат нельзя напрямую переводить в экономию долларов или универсальный рейтинг ассистентов.
4. Разреженности всё ещё нужны память и коммуникации
Microsoft объединяет экспертов в группы с фиксированной ёмкостью токенов. Перегруженный эксперт использует свободную ёмкость внутри группы, а оставшиеся токены обрабатываются дополнительными раундами вместо отбрасывания. Это обмен времени на ограниченную память; отправка, вычисление и сбор перекрываются. Команда также перераспределяет момент оптимизатора, чтобы Muon работал с полными матрицами при распределённом хранении. Оптимизированная стадия Muon, по отчёту, занимает 165 миллисекунд, или 2,1% средней итерации. Это результат конкретной реализации, не гарантия для другого кластера.
5. Качество данных — тоже инженерный результат
Microsoft сообщает рост уникальных обучающих токенов примерно на 36%, границу знаний в марте 2026 года и внутреннюю обработку без дистилляции других моделей. Визуально-языковой корпус без отдельного энкодера содержит 4,5T уникальных токенов; с повторениями он даёт 18% смеси из 50T. Уникальный объём и накопленное предъявление при обучении — разные величины. Обрезка градиентов активаций также помогла отследить повреждённый пример кода до ошибки предобработки. Мониторинг устойчивости может направлять исправление данных, а не только увеличение числа токенов.
6. Читать как проверяемые инженерные утверждения
Описание связывает выбор модели с реальным временем: архитектура может экономить теоретические операции, но проигрывать из-за коммуникаций или памяти. Наш анализ: это материал для планирования экспериментов, но недостаточная основа для выбора продакшена по крупным цифрам. Нужно изучить воспроизводимые нагрузки, права на данные, поведение после постобучения и ограничения развёртывания. Пока эти условия не определены, будущую партнёрскую лицензию следует отделять от нынешнего доступа, цен и сравнений личных подписок.
Почему это важно
Анализ AISubHub: полезно совместно оценивать повторение данных, архитектуру и коммуникации. Корпоративному покупателю отдельно нужны доступ к постобученной точке, условия развёртывания и воспроизводимые оценки задач. Рассказ об обучении не отвечает на эти вопросы закупки.
Ограничения и доступность
Показатели приводит Microsoft; AISubHub их не измерял. Мы прочитали весь публичный текст блога, но не отдельный PDF и не код диаграмм. Намерение лицензировать веса доверенным партнёрам через Foundry не содержит публичной цены API MAI-Base-2 или прав в личной подписке.
Источники и подтверждения
Дата источника: 15 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.