Подробный разбор · Около 3 мин чтения
FlashMap на Qwen3: больше принятых токенов не всегда означает выше скорость
Препринт от 17 октября сравнивает черновик на flow map с переобученными базовыми методами в определенных условиях.
- Опубликовано здесь
- Дата источника
- Источник проверен
FlashMap генерирует блок токенов отображением, дистиллированным из непрерывного потока. Первое представление в arXiv — 17 октября; результаты Qwen3-8B не универсальны для всех моделей и сервисов.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Авторы сообщают о среднем преимуществе 7.4% над переобученным DFlash и пике 6.14× относительно обычного декодирования цели.
- Основные измерения: одна H200 NVL, конкурентность 1, рассуждения выключены, максимум 2048 новых токенов; пакетное обслуживание не проверено.
Время на подтвержденный токен
Спекулятивное декодирование предлагает будущие токены малой моделью и проверяет их вместе целевой. Отказ отбрасывает оставшийся суффикс, поэтому важна выжившая, а не только предложенная длина. Задержка равна времени черновика плюс проверки, деленному на принятую длину, включая один токен цели.
Последовательный черновик может быть точным, но дорогим; параллельный выигрывает и с меньшей принятой длиной. Правило отклонения сохраняет распределение цели. «Без потерь» описывает это свойство, а не более правдивые, безопасные или умные ответы.
Согласованность целого блока
DFlash за один проход предсказывает позиции независимо; по отдельности правдоподобные токены могут вместе противоречить друг другу. FlashMap переносит гауссов шум к токенам с помощью скрытых признаков цели и дистиллирует поток в одно или несколько вычислений карты.
Сначала обучается учитель-поток, потом ученик-карта. Self-attention связывает позиции, cross-attention читает цель, эмбеддинги и выходная голова заморожены. Для Qwen3-8B у FlashMap 500M обучаемых параметров, у DFlash 1049M. Разная стоимость черновика тоже важна; это не базовая модель на замену цели.
Границы контролируемого сравнения
DFlash и EAGLE-3 переобучены на одинаковых 500K примеров Open-PerfectBlend. Блок и бюджет проверки — 16 токенов. Девять английских задач математики, кода и диалога тестируются при температурах 0 и 1 в SGLang, на одной H200 NVL, конкурентность 1, без рассуждений и с лимитом 2048.
В восемнадцати конфигурациях Qwen3-8B одношаговый FlashMap быстрее DFlash в среднем на 7.4%. Пик 6.14× относится к GSM8K при температуре 0 относительно обычной цели, не DFlash. Arena-Hard там дает 3.04×. Задачу и знаменатель сравнения нельзя опускать.
Приложение ограничивает вывод
Qwen3-4B выигрывает не всюду: GSM8K при температуре 0 дает FlashMap 5.14×, DFlash 5.18× относительно цели. Два шага повышают принятую длину, но могут замедлять. Ее превосходство над DFlash во всех восемнадцати случаях Qwen3-8B не означает максимальную скорость везде.
Shuffle-тест сохраняет маргинальное поведение позиций, разрушая связи общего шума. Падение принятия показывает совместную структуру; два шага возвращают больше структуры учителя, чем один. Авторы признают остаточный разрыв дистилляции. Такой диагноз полезнее заявления, что зависимости токенов полностью решены.
Что оператору проверить дальше
Каждая конфигурация запущена один раз. Интервалы Wilson относятся к условному принятию, а не доверительным интервалам ускорения. Два размера одного семейства на английских задачах не доказывают производственный throughput. Приложение с деревом использует H100, отличную от основной H200, и должно рассматриваться отдельно.
Наш план проверки — выровнять модель, оборудование, лимиты и бюджет, затем добавить свой трафик и измерить задержку либо throughput вместе со стоимостью обучения и обслуживания. Это не измеренная коммерческая экономия. Исследование не объявляет изменения подписок Qwen, цен API или базовых способностей целевой модели.
Почему это важно
Анализ AISubHub: нужно вместе измерять принятую длину и время черновика/проверки. Это исследование инференса, а не рейтинг общего интеллекта.
Ограничения и доступность
Прочитаны v1, все приложения и таблицы, проверена первая отправка. Данные авторские, один запуск на конфигурацию, без нашей репликации. Другие семейства, размеры и производственная нагрузка не исследованы.
Источники и подтверждения
Дата источника: · Источник проверен:
Дополнительные материалы
Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.