Подробный разбор · Около 3 мин чтения
Muse Spark Open на SageMaker: точность, квота и стоимость простаивающего endpoint
AWS отделяет возможности модели, инструменты приложения и GPU, оплачиваемый всё время работы.
- Опубликовано здесь
- Дата источника
- Источник проверен
Руководство AWS от 15 октября размещает Muse Spark Open на SageMaker AI endpoint в аккаунте клиента. Инженерная новость — два формата весов и условия инстансов, регионов, квот и лицензии. Это другой канал развёртывания, не повтор запуска Meta или цен токенов Together.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- NVFP4 использует ml.p5e.48xlarge, BF16 — ml.p6-b300.48xlarge с несколькими GPU. 42B активных параметров не отменяют 816B общих весов.
- При запуске указаны Северная Виргиния и Огайо с правами и квотами. Работающий endpoint оплачивается даже без запросов.
Разреженное вычисление не делает checkpoint маленьким
Указаны 816 миллиардов всего и 42 миллиарда активных параметров на token, контекст миллион token. Для всех весов нужна память. BF16 и NVFP4 различаются: четырёхбитные веса занимают примерно четверть памяти весов BF16. Не четверть всей памяти приложения или счёта: важны контекст, обслуживание и параллелизм. Форматы сопоставлены разным multi-GPU инстансам. Начать с NVFP4 для оценки цены можно лишь проверяя качество своих задач, не предполагая одинаковый кодовый результат после любой квантизации.
Endpoint — модель, а не вся среда программирования
AWS приписывает Meta планирование, инструменты, субагентов, браузинг и управление компьютером. Реальные инструменты, браузер, среда и тестовый sandbox предоставляет приложение/фреймворк; создание endpoint их не создаёт и не разрешает. Текст, изображения, документы, аудио и аудио-видео — заявленные входы с текстовым выходом, не наши тесты каждой интеграции. В аккаунте клиента доступны настройки VPC, KMS-шифрования тома, сетевой изоляции, масштабирования и версии. Это проверяемые опции, не автоматически включённые повсюду защиты.
Доступ зависит от инстанса и лицензии
Нужны IAM для моделей/endpoint и роль исполнения. AmazonSageMakerFullAccess используется в демонстрации, production рекомендуется ограничить нужными действиями и ресурсами. Studio требует domain; SDK — Python 3.10+ и SageMaker Python SDK v3. На старте названы Северная Виргиния и Огайо; квота endpoint нужна для ml.p5e.48xlarge NVFP4 или ml.p6-b300.48xlarge BF16. Ограниченный модельный доступ требует изучить и принять Muse Model License с правилами. accept_eula фиксирует согласие, не обходит его. Открытые веса не доказывают неограниченное коммерческое право или наличие мощности.
Поля и время имеют разные значения
Оба пути создают real-time endpoint. 15–20 минут — оценка выделения инстанса и загрузки весов, не задержка ответа. Одна стартовая инстанция содержит несколько GPU. OpenAI-совместимый messages пример задаёт max_tokens 4096 для генерируемого reasoning и итогового ответа. Различаются message.content, message.reasoning_content, usage.reasoning_tokens. Текст reasoning остаётся выводом модели, не независимо подтверждённой трассой верных решений. Streaming — отдельная опция. Совместимость API не даёт подписку OpenAI, миллион выходных token или готовые инструменты.
Прекращение диалога не останавливает счёт
Инстанс оплачивается всё время работы endpoint независимо от запросов. Это отличается от токенов входа/выхода/кэша Together; фиксированной полной цены здесь нет. SDK удаляет модель, endpoint и конфигурацию; Studio показывает удаление endpoint. В опыте надо учитывать созданные ресурсы и подтвердить очистку, не только перестать слать запросы. Мы предлагаем записать версию, точность, инстанс, контекст, параллелизм, принятый код и полную стоимость; измерений не выполняли. Это отдельный тестовый путь для существующей модели, не новый базовый релиз или универсально дешёвая конфигурация.
Почему это важно
Анализ AISubHub: точность, права, приёмка и ответственность за ресурсы выбираются вместе. GPU в собственном аккаунте — инфраструктура, не фиксированный месячный чат-лимит.
Ограничения и доступность
Прочитаны руководство и биографии без развёртывания, принятия лицензии, её связанного текста или инференса. Возможности и сроки — данные AWS / Meta; универсальная квота, равное качество, бесплатность и точная полная цена не установлены.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.