Análisis en profundidad · Unos 4 min de lectura
Dos estrategias KV de vLLM atacan esperas distintas
Las guías de AWS comparan envío push y reutilización bidireccional con pruebas que no deben acumularse.
- Fecha de la fuente
- Publicado aquí
- Fuente revisada
Dos guías del 19 de octubre estudian el movimiento de caché KV en vLLM desagregado. Las reunimos como alternativas, no como dos mejoras acumulativas ni nuevas versiones de los modelos probados.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- Push declara hasta tres veces mejor TTFT y 30% mejor TPOT con Qwen3-32B, un nodo por fase y P5en con EFA.
- La reutilización bidireccional declara hasta 1,6 y 3,3 veces mejor TTFT para Qwen3-32B y GLM-5-FP8, con otra configuración de caché.
Arquitectura compartida, pruebas diferentes
Prefill procesa el prompt y construye KV; decode genera tokens usando ese estado. Separar motores permite escalar cada fase, pero exige transferir antes de generar. Las guías usan NIXL y EFA en hardware compatible para mover memoria de dispositivo sin pasar por el anfitrión. Los autores desarrollaron las funciones en Trainium y las aportaron como capacidades independientes del acelerador; sus mediciones publicadas son de GPU P5en. No significa que toda instancia admita memoria directa. Las esperas son distintas: preparar la entrega de una solicitud o recalcular el contexto en un turno posterior.
Push anticipa la coordinación
Pull espera a terminar prefill, transmite metadatos mediante el router y prepara la lectura en decode. Push reserva y registra destinos mientras prefill calcula. El productor empareja registro y cálculo completado, lleguen en cualquier orden; un hilo de fondo prepara descriptores y envía NIXL WRITE. Decode espera todas las notificaciones previstas antes de usar KV. Separar esa preparación del bucle de decode reduce interferencias. Ambos servidores usan NixlPushConnector. A cambio, el destino se elige antes; pull puede esperar al fin de prefill para decidir según carga.
Reutilizar entre turnos exige conservar estado
El diseño bidireccional retiene KV del prompt y respuesta para que prefill lo recupere en el siguiente turno. Un router con estado guarda posiciones por conversation_id, no tensores. La retención predeterminada es 480 segundos, fija y sin renovación; después se vuelve a prefill normal. El umbral predeterminado es 64 tokens reutilizables: menos se recalculan y a partir de él puede transferirse. AWS especifica vLLM 0.21.0 o posterior, NixlConnector, bidirectional_kv_xfer en ambos servidores y router adecuado. Una opción aislada no constituye todo el despliegue.
Mantener separadas las referencias de prueba
Push se probó con Qwen3-32B, un nodo prefill y otro decode, P5en/EFA, 128 tokens de salida y caché de prefijos desactivada en decode. A ocho solicitudes por segundo y entrada 16k, TTFT fue unos 1.744 ms frente a 540; TPOT con carga alta, 10,4 frente a 7 ms. Con poca carga y prompts cortos eran similares. La prueba bidireccional desactivó la caché en prefill para simular pérdida local: Qwen a 24k dio 778 frente a 460 ms y GLM a 20k, 2.334 frente a 702. Sustentan factores hasta 1,6 y 3,3 en esa prueba, no una clasificación universal.
Análisis: elegir política y comprobar servicio
La guía push conserva pull para transferencia bidireccional o selección tardía de decode; no deben multiplicarse los factores. Proponemos medir con intervalos reales entre turnos, solapamiento y carga, registrando TTFT, latencia por token, rendimiento, memoria y caducidad. Desactive caché al reproducir la prueba, no como consejo universal de producción. Reintentos, metadatos caducados y aislamiento de conversaciones necesitan pruebas operativas. Son recomendaciones nuestras; no hemos desplegado ni facturado estas opciones. La utilidad es decidir entre coordinación, reutilización y enrutamiento con condiciones explícitas, no prometer velocidad general.
Por qué importa
Conviene identificar coordinación por solicitud o recálculo entre turnos, considerando memoria, red y flexibilidad de enrutamiento.
Límites y disponibilidad
Son pruebas de AWS, no nuestras. Los factores no se multiplican ni crean cuotas de suscripción o precios fijos.
Fuentes y pruebas
Fecha de la fuente: 19 oct 2026 · Fuente revisada: 20 oct 2026
Fecha de la fuente: 19 oct 2026 · Fuente revisada: 20 oct 2026
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.