Подробный разбор · Около 3 мин чтения
Laplace 3B на Trainium2: постоянное состояние не означает идеальную память
Отчет i14/AWS разделяет размер состояния, обмен оптимизатора и реальные издержки компиляции.
- Опубликовано здесь
- Дата источника
- Источник проверен
Статья AWS от 20 октября описывает обучение и обслуживание Laplace 3B компании i14 на Trainium2 через нативный PyTorch. Постоянное рекуррентное состояние заменяет растущий KV-кэш. Важно понять, какое ресурсное ограничение меняется и какие вопросы качества и эксплуатации остаются.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Сообщается о 29.5 MB состояния на последовательность и суммарных 11544 выходных токенах в секунду при 1280 последовательностях на одной trn2.48xlarge. Это не вся память и не скорость одного пользователя.
- План обучения составляет 100 миллиардов токенов, результаты — около 44 миллиардов. Сокращение обмена в 24 раза и рост скорости в 1.63 раза — разные показатели.
Постоянное состояние — это сжатая история
При softmax-инференсе обычно сохраняются растущие вместе с контекстом ключи и значения. Laplace 3B обновляет рекуррентную матрицу через Gated Linear Attention и сжимает прошлое в 29.5 MB на последовательность. Масштабирование вычислений внимания при обучении меняется с квадратичного на линейное. Веса, активации, обработка входа и другие буферы не исчезают. Сжатие меняет и извлекаемую информацию. Источник прямо требует оценки retrieval для нужной нагрузки: вместить длинный разговор не означает сохранить каждую старую подробность с требуемой точностью.
Настройка оборудования и обмен дают разные эффекты
Команда заменила GPU-специфичный Triton-кернел операторами PyTorch. Шестнадцать блоков по 128 токенов соответствуют 128 секциям буфера; этому сопоставлению отчет приписывает 14% прироста. Другая проблема Muon — необходимость межшардовых связей при распределенных градиентах. Два обмена all-to-all распределяют целые матрицы для параллельной работы и возвращают результаты. Трафик на ранг снижается с 10.87 GB до 0.45 GB, скорость растет с 73378 до 119934 токенов в секунду. Сокращение связи в 24 раза нельзя называть 24-кратным ускорением обучения.
Запланированный рецепт не равен завершенному запуску
Конфигурация содержит 3.028 миллиарда параметров, 24 слоя и план FineWeb-Edu на 100 миллиардов токенов. Показанные результаты заканчиваются шагом 84210, около 44 миллиардов токенов, а не всеми запланированными 190735 шагами. Около 120000 токенов в секунду и снижающийся loss относятся к этому отрезку. Стабильность полезна для оценки реализации, но не заменяет прикладной тест, сравнение со всеми трансформерами или доказательство фактической памяти. Мы отделяем успешный перенос от полезности, которую еще нужно показать на конкретной задаче.
Суммарная скорость зависит от параллелизма
В инференсе одна trn2.48xlarge использует 64 логических NeuronCore, по 20 последовательностей на реплику, всего 1280. Они делят суммарные 11544 выходных токена в секунду. Состояние примерно в 82 раза меньше сопоставимого KV-кэша при 8192 токенах, а не всей итоговой стоимости. Увеличение входа с 2048 до 8192 токенов добавило 0.5% к стоимости выходного токена именно в этом эксперименте. Обработка входа, выделение оборудования, качество и загрузка по-прежнему важны для реального бюджета.
Реальные поступления выявляют скрытую компиляцию
Новая ширина decode-батча первоначально требовала около 11 секунд компиляции. Такие шаги составляли 1.1% шагов, но занимали 47.5% времени декодирования. Дополнение до фиксированных ширин устранило затраты; выигрыш при разнесенных поступлениях отличался от фиксированных батчей. Источник также предупреждает: перегруппировка BF16 может слегка менять скомпилированный результат относительно eager; для точной воспроизводимости уместен eager. Пилоту нужны реальные поступления, хвостовые задержки, численная терпимость и качество извлечения вместе. Это наши рекомендации, не заявление о сервисе или экономии, измеренных AISubHub.
Почему это важно
Наш анализ: постоянное состояние может упростить расчет длинных сессий, но требует проверки извлечения информации и реалистичных поступлений запросов. Архитектуру и исполнение нужно оценивать совместно.
Ограничения и доступность
Мы полностью прочитали текст и подписи, не запускали код или модель. Результаты принадлежат i14/AWS, не нашим измерениям. Цена подписки, бесплатное оборудование, универсальное превосходство и производственная гарантия не установлены. TorchNeuron Native использовался в бета-версии.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.