Подробный разбор · Около 3 мин чтения
Две KV-стратегии vLLM устраняют разные задержки
AWS сравнивает push-передачу и двустороннее использование, чьи результаты нельзя складывать.
- Дата источника
- Опубликовано здесь
- Источник проверен
Два руководства от 19 октября разбирают перенос KV в разделённом vLLM. Мы объединяем альтернативы, не два накопительных ускорения и не новые версии испытанных моделей.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Push сообщает до трёхкратного улучшения TTFT и 30% TPOT для Qwen3-32B на одном узле каждой фазы P5en/EFA.
- Двусторонний вариант сообщает до 1,6 и 3,3 раза для Qwen3-32B и GLM-5-FP8 при других условиях кеша.
Общая архитектура, разные эксперименты
Prefill строит KV для входа, decode генерирует токены из этого состояния. Разделение позволяет независимое масштабирование, но требует передачи. NIXL и EFA на поддерживаемой технике перемещают память устройства без промежуточного хоста. Авторы разработали функции на Trainium и внесли их как независимые от ускорителя, однако опубликованные числа получены на P5en GPU. Не каждая машина поддерживает прямой доступ. Оптимизируются разные ожидания: подготовка передачи одного запроса и повторный расчёт старого контекста следующего хода.
Push переносит координацию раньше
Pull ждёт prefill, передаёт позиции через маршрутизатор и готовит чтение на decode. Push резервирует и регистрирует назначения во время расчёта. Производитель сопоставляет регистрацию и готовый расчёт в любом порядке, затем фоновый поток готовит дескрипторы и отправляет NIXL WRITE. Decode ждёт все ожидаемые уведомления завершения. Его основной цикл разгружается; обе стороны используют NixlPushConnector. Но decode выбирается раньше. Pull может выбирать после prefill с учётом нагрузки.
Для повторного использования нужно хранить состояние
Двусторонний вариант сохраняет decode-KV входа и ответа для следующего prefill. Маршрутизатор хранит позиции по conversation_id, не тензоры. Срок по умолчанию — фиксированные 480 секунд без продления; после истечения обычный prefill. Порог — 64 повторно используемых токена: меньше пересчитываются, начиная с порога возможна передача. AWS требует vLLM от 0.21.0, NixlConnector, bidirectional_kv_xfer на двух серверах и подходящий маршрутизатор. Один параметр не создаёт весь работающий сервис.
Разделять две экспериментальные базы
Push тестировали на Qwen3-32B, одном узле каждой фазы P5en/EFA, с 128 выходными токенами и отключённым префиксным кешем decode. При восьми запросах в секунду и входе 16k TTFT был около 1744 против 540 мс, TPOT под нагрузкой — 10,4 против 7 мс. Короткие запросы при малой нагрузке близки. В двустороннем тесте отключили кеш prefill, имитируя утрату истории: Qwen на 24k дал 778 против 460 мс, GLM на 20k — 2334 против 702. До 1,6 и 3,3 раза относятся к этому опыту, не всеобщему рейтингу.
Анализ: выбрать политику и проверить сервис
Push-руководство оставляет pull для двусторонней передачи или позднего выбора decode. Множители нельзя перемножать. Мы предлагаем реальные интервалы ходов, пересечение запросов и нагрузку с измерением TTFT, задержки токена, пропускной способности, памяти и истечения. Отключение кеша воспроизводит опыт, а не является общей рекомендацией. Повторы, старые метаданные и изоляция разговоров тоже нуждаются в проверке. Это наши советы; мы не разворачивали сервис и не измеряли счёт. Польза — явный выбор координации, повторного использования и маршрутизации, не обещание скорости всем.
Почему это важно
Нужно отличать координацию запроса от повторного расчёта между ходами, учитывая память, сеть и маршрутизацию.
Ограничения и доступность
Это измерения AWS, не наши. Коэффициенты не перемножаются и не задают личные квоты либо фиксированную цену.
Источники и подтверждения
Дата источника: 19 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Дата источника: 19 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.