Vertiefende Analyse · Etwa 3 Min. Lesezeit
Zwei vLLM-KV-Strategien behandeln verschiedene Wartezeiten
AWS vergleicht Push-Übergabe und bidirektionale Wiederverwendung mit getrennten, nicht stapelbaren Benchmarks.
- Datum der Quelle
- Hier veröffentlicht
- Quelle geprüft
Zwei Anleitungen vom 19. Oktober untersuchen KV-Transfers in getrenntem vLLM-Prefill und Decode. Wir behandeln sie als Alternativen, nicht als kumulative Beschleunigung oder neue getestete Modellversionen.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Push meldet bis zu dreifach bessere TTFT und 30% bessere TPOT für Qwen3-32B auf einem Knoten je Phase mit P5en/EFA.
- Bidirektionaler Transfer meldet bis zu Faktoren 1,6 und 3,3 für Qwen3-32B und GLM-5-FP8 bei anderen Cachebedingungen.
Gleiche Architektur ist nicht derselbe Test
Prefill verarbeitet den Prompt und baut KV auf; Decode erzeugt damit Tokens. Getrennte Engines skalieren unabhängig, benötigen aber einen Transfer. NIXL und EFA verschieben Gerätespeicher ohne Host-Zwischenablage auf unterstützter Hardware. Laut Autoren entstanden die Funktionen auf Trainium und wurden beschleunigerunabhängig beigetragen; die Zahlen stammen von P5en-GPUs. Nicht jede Instanz unterstützt damit automatisch direkten Speicherzugriff. Die Optimierungen betreffen verschiedene Wartezeiten: Vorbereitung einer Übergabe oder Neuberechnung alter Kontexte in der nächsten Runde.
Push zieht Koordination nach vorn
Pull wartet auf Prefill, leitet Blockpositionen über den Router und bereitet den Decode-Lesezugriff vor. Push reserviert und registriert Zielblöcke bereits während der Berechnung. Der Produzent kombiniert Registrierung und fertige Berechnung unabhängig von der Ankunftsfolge; ein Hintergrundthread erstellt Deskriptoren und sendet NIXL WRITE. Decode wartet auf alle erwarteten Abschlussmeldungen. Das entlastet seine zeitkritische Schleife. Beide Seiten verwenden NixlPushConnector. Dafür wird der Decode-Knoten früher gewählt; Pull kann die Auswahl bis nach Prefill für lastabhängiges Routing verschieben.
Wiederverwendung braucht gespeicherten Zustand
Bidirektionaler Transfer erhält Decode-KV von Prompt und Ausgabe, damit Prefill es in der nächsten Runde zurückholt. Ein zustandsbehafteter Router speichert Blockpositionen nach conversation_id, keine Tensoren. Die Standardhaltezeit beträgt feste, nicht erneuerte 480 Sekunden; nach Ablauf folgt normales Prefill. Die Standardschwelle liegt bei 64 wiederverwendbaren Tokens: darunter wird neu gerechnet, ab der Schwelle kann übertragen werden. AWS nennt vLLM ab 0.21.0, NixlConnector, bidirectional_kv_xfer auf beiden Seiten und einen passenden Router. Ein einzelner Schalter ist kein vollständiger Betrieb.
Die beiden Vergleichsbasen getrennt halten
Push wurde mit Qwen3-32B, je einem Knoten, P5en/EFA, 128 Ausgabetokens und ohne Präfixcache auf Decode gemessen. Bei acht Anfragen pro Sekunde und 16k Eingabe waren es etwa 1.744 gegen 540 ms TTFT; unter hoher Last etwa 10,4 gegen 7 ms TPOT. Kurze Prompts bei geringer Last lagen nahe beieinander. Der bidirektionale Test deaktivierte dagegen den Prefill-Cache zur Simulation verlorenen Kontexts: Qwen bei 24k erreichte 778 gegen 460 ms, GLM bei 20k 2.334 gegen 702. Die Faktoren bis 1,6 und 3,3 gelten dort, nicht als universelles Ranking.
Analyse: Cachepolitik wählen und Dienst prüfen
Der Push-Leitfaden empfiehlt weiterhin Pull für bidirektionalen Transfer oder spätere Decode-Auswahl. Die Gewinne dürfen nicht multipliziert werden. Wir empfehlen reale Rundenabstände, Promptüberschneidung und Last sowie TTFT, Tokenlatenz, Durchsatz, Speicher und Ablaufverhalten zu messen. Den Cache nur zur genannten Reproduktion deaktivieren, nicht als allgemeine Produktionsregel. Wiederholungen, veraltete Metadaten und Gesprächsisolation brauchen ebenfalls Betriebstests. Das sind unsere Vorschläge; wir haben weder Betrieb noch Rechnung geprüft. Es geht um ein dokumentiertes Abwägen von Koordination, Wiederverwendung und Routing, nicht um pauschale Geschwindigkeit.
Warum es wichtig ist
Zu unterscheiden sind Übergabekoordination und wiederholte Berechnung über mehrere Runden, einschließlich Speicher und Routing.
Grenzen und Verfügbarkeit
Es sind AWS-Benchmarks, keine eigenen Tests. Faktoren sind nicht multiplizierbar und begründen keine persönlichen Kontingente oder Fixpreise.
Quellen und Belege
Datum der Quelle: 19.10.2026 · Quelle geprüft: 20.10.2026
Datum der Quelle: 19.10.2026 · Quelle geprüft: 20.10.2026
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.