Analyse approfondie · Environ 4 min de lecture
Deux stratégies KV de vLLM visent des latences différentes
AWS compare transfert push et réutilisation bidirectionnelle, avec des gains expérimentaux non cumulables.
- Date de la source
- Publié ici
- Source vérifiée
Deux guides du 19 octobre traitent du cache KV dans vLLM désagrégé. Nous réunissons ces choix alternatifs, sans en faire deux accélérations cumulatives ou de nouveaux modèles.
Écouter les actualités
Écoutez cet article ou poursuivez la lecture des actualités.
Préparation de la lecture…
Voix de l’appareil
La voix est traitée par votre navigateur ou appareil. AISubHub n’envoie pas le texte à une API audio. Les voix et la lecture écran verrouillé dépendent de l’appareil.
La reprise peut répéter une courte phrase.
En bref
- Push annonce jusqu'à trois fois mieux en TTFT et 30% en TPOT pour Qwen3-32B sur un nœud par phase, P5en/EFA.
- Le transfert bidirectionnel annonce jusqu'à 1,6 et 3,3 fois mieux en TTFT pour Qwen3-32B et GLM-5-FP8 avec d'autres conditions de cache.
Architecture commune, expériences distinctes
Prefill traite le prompt et construit KV ; decode génère les jetons à partir de cet état. Séparer les moteurs permet une mise à l'échelle indépendante, mais ajoute un transfert. NIXL et EFA déplacent la mémoire du dispositif sans passage par l'hôte sur le matériel compatible. Les auteurs ont développé ces fonctions sur Trainium avant une contribution indépendante de l'accélérateur ; les chiffres publiés utilisent des GPU P5en. Toutes les instances ne disposent donc pas forcément de cet accès direct. Les attentes diffèrent : préparer une transmission ou recalculer l'ancien contexte au tour suivant.
Push prépare la coordination plus tôt
Pull attend la fin du prefill, relaie les positions via le routeur puis prépare la lecture côté decode. Push réserve et enregistre les destinations pendant le calcul. Le producteur associe enregistrement et calcul terminé dans n'importe quel ordre, puis un fil d'arrière-plan prépare les descripteurs et soumet NIXL WRITE. Decode attend toutes les notifications prévues avant d'utiliser KV. Cela retire du travail de sa boucle sensible. Les deux serveurs utilisent NixlPushConnector. En contrepartie, decode est choisi plus tôt ; pull peut attendre pour tenir compte de la charge.
Réutiliser entre tours exige un état conservé
Le mécanisme bidirectionnel conserve KV du prompt et de la réponse pour que prefill le récupère au prochain tour. Le routeur stocke les positions par conversation_id, pas les tenseurs. La rétention par défaut dure 480 secondes, fixes et non renouvelées ; après expiration revient le prefill normal. Le seuil est de 64 jetons réutilisables : en dessous ils sont recalculés, au seuil ou au-delà ils peuvent être transférés. AWS indique vLLM 0.21.0 ou ultérieur, NixlConnector, bidirectional_kv_xfer sur les deux serveurs et un routeur adapté. Une seule option ne suffit pas au déploiement.
Ne pas mélanger les références de mesure
Push utilise Qwen3-32B, un nœud par phase, P5en/EFA, 128 jetons de sortie et le cache de préfixe désactivé sur decode. À huit requêtes par seconde et 16k d'entrée, TTFT est environ 1 744 contre 540 ms ; à forte charge, TPOT est 10,4 contre 7 ms. Les faibles charges et prompts courts sont proches. Le test bidirectionnel désactive le cache sur prefill pour simuler une perte locale : Qwen à 24k donne 778 contre 460 ms et GLM à 20k, 2 334 contre 702. Les facteurs jusqu'à 1,6 et 3,3 restent ceux de cette expérience, pas un classement général.
Analyse : choisir puis tester le service
Le guide push réserve pull aux échanges bidirectionnels ou au choix tardif de decode. Les gains ne se multiplient donc pas. Nous proposons de mesurer intervalles réels, chevauchement et charge, puis TTFT, latence par jeton, débit, mémoire et expiration. Désactiver le cache reproduit l'expérience, ce n'est pas une règle de production. Relances, positions obsolètes et isolation des conversations doivent aussi être testées. Ce sont nos recommandations ; nous n'avons ni déployé ni mesuré la facture. L'intérêt est un arbitrage documenté entre coordination, réutilisation et routage, pas une promesse générale de vitesse.
Pourquoi cela compte
Il faut distinguer coordination par requête et recalcul entre tours, puis considérer mémoire, réseau et souplesse du routage.
Limites et disponibilité
Ces mesures sont celles d'AWS, pas les nôtres. Les facteurs ne se multiplient pas et ne donnent ni quota personnel ni tarif universel.
Sources et preuves
Date de la source: 19 oct. 2026 · Source vérifiée: 20 oct. 2026
Date de la source: 19 oct. 2026 · Source vérifiée: 20 oct. 2026
Articles assistés par IA, vérifiés avec les sources primaires citées. Les affirmations des fournisseurs sont attribuées ; la présence ne vaut pas recommandation.