Подробный разбор · Около 3 мин чтения
Кейс Deepgram на Trainium разделяет модель, ядра и обслуживание
AWS сообщает о большем объёме офлайн-аудио Nova-3 на доллар после специальных оптимизаций, с ограничениями.
- Дата источника
- Опубликовано здесь
- Источник проверен
Кейс от 19 октября описывает многомесячную работу Deepgram и AWS над пакетной офлайн-инференцией Nova-3 на Trainium2. Замена ускорителя сама по себе не гарантирует меньший счёт любого голосового приложения.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- На trn2.3xlarge работают восемь реплик; заявлено на 11–70% больше аудио на доллар против прежних вариантов при ценах периода оценки.
- Статические графы, оптимизация ядер и Rust-сервис сочетаются с проверкой численной согласованности и частоты ошибок слов.
Сначала определить нагрузку и знаменатель
Deepgram предлагает распознавание, синтез и агентов, но этот проект касается офлайн-транскрипции Nova-3, например анализа звонков и медицинских записей. Авторы сообщают восемь реплик на trn2.3xlarge и на 11–70% больше аудио за доллар. Это не та же процентная экономия на одной транскрипции. Цены относятся к оценке, не к текущему предложению всем аккаунтам. Приводится относительная пропускная способность без абсолютных аудиосекунд в секунду; интерактивный агент на такой конфигурации не проверен этим результатом.
Корректность раньше настройки скорости
Инженеры начали с PyTorch и TorchNeuron, проверили возврат операций на CPU в непосредственном исполнении, затем отдельно скомпилировали энкодер и декодер в статические графы. По отчёту, все операции компилированного пути остались на Trainium2 без обнаруженного возврата. Выходы слоёв сравнивали с CPU, а ошибки слов должны были соответствовать эталону и цели Deepgram; нового универсального показателя точности нет. Пакеты от 1 до 128 искали максимум пропускной способности. Мы разделяем доказательство корректного порта и его настройку под предполагаемый трафик.
Локальные коэффициенты нельзя перемножать
Neuron Explorer направлял изменения NKI Library, а NAD помогал анализировать и писать ядра. Повторное использование блоков весов вдвое сократило задержку feed-forward при пакете 96; depthwise-свёртка на Vector Engine дала 1,5 раза при том же пакете. Собственный conv2d снял барьер компиляции выше 32. До 50 раз относится только к модулю свёртки при пакетах не больше 32. Это разные сравнения, не перемножаемая экономия всей транскрипции. AISubHub не воспроизводил эти профили.
Хостовый runtime тоже изменили
Одна реплика здесь помещается на физическом NeuronCore. Переход LNC2 к LNC1 открывает восемь логических ядер для восьми реплик на Trainium2. Rust-сервер использует очередь с кражей задач, по работнику на реплику и слой C для вызова заранее скомпилированных NEFF через libnrt. Python и PyTorch отсутствуют в обслуживании. Против многопроцессного Python Rust добавил по отчёту 7,5% пропускной способности при оптимальном пакете. Малые вызовы декодера делают расходы хоста заметнее при небольших пакетах. Любая перепись на Rust не обещает тот же выигрыш.
Анализ: проверять всю услугу транскрипции
Пилоту стоит сохранить аудио и эталонные тексты, проверить ошибки для нужных говорящих и условий записи и сравнить объём принятой транскрипции со счётом. Компиляция, прогрев, очереди, вызовы и восстановление должны оставаться видимыми. Это наши рекомендации, не дополнительные авторские испытания. Самостоятельный запуск требует развёртывания, наблюдаемости и доступа; упоминание SageMaker и инженеров не задаёт универсальную цену. Урок — совместная работа над корректностью, ядрами и производственной интеграцией. Результат ограничен этой системой, не является автоматическим правом в голосовой подписке.
Почему это важно
Операторы могут отдельно профилировать исполнение, память и диспетчеризацию хоста до решения о миграции.
Ограничения и доступность
Это измерения поставщиков для офлайн-пропускной способности. Мы не запускали модель и не проверяли счета; цены подписки и гарантий интерактивной задержки здесь нет.
Источники и подтверждения
Дата источника: 19 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.