詳しい解説 · 読了目安 4 分
vLLMの二つのKV戦略は異なる遅延を狙う
AWSのpush交接と双方向再利用は別条件の比較であり、倍率を重ねられない。
- 原典の公開日
- 当サイトの公開日
- 出典確認日
10月19日の二つのAWS指南は分離型vLLMでのKV移動を論じます。当サイトは代替手段としてまとめ、重なる加速効果や評価モデルの新バージョンとは扱いません。
ニュースを聴く
この記事を読み上げるか、ニュースを続けて聴けます。
読み上げを準備中…
端末の音声
読み上げはブラウザーまたは端末が処理します。AISubHub は文章を音声 API に送りません。利用できる音声やロック画面での再生は端末によって異なります。
再開時に短い部分を繰り返す場合があります。
要点
- PushはP5en/EFAの各1ノード、Qwen3-32BでTTFT最大3倍、TPOT30%改善を報告します。
- 双方向転送は別のキャッシュ条件でQwen3-32BとGLM-5-FP8のTTFT最大1.6倍、3.3倍を報告します。
同じ構成でも実験は違う
Prefillは入力を処理してKVを作り、decodeはその状態からトークンを生成します。独立拡張できる反面、引き渡しが必要です。NIXLとEFAは対応機器でホストを経ずにデバイス間メモリーを転送します。著者はTrainiumで開発し、加速器に依存しない機能として提供したと説明しますが、掲載測定はP5en GPUです。全インスタンスの直接転送を保証しません。対象は一回の交接準備と、次ターンの旧文脈再計算という別の待ち時間です。
Pushは調整を先に始める
Pullはprefill終了後にルーター経由で位置を伝え、decodeが読み込みを準備します。Pushは計算中にdecodeが宛先を確保・登録します。生成側は登録と計算終了の到着順にかかわらず両方を待ち、背景スレッドで記述子を準備しNIXL WRITEを送ります。Decodeは全完了通知を待ってKVを使います。主ループの負担を減らしますが、両端にNixlPushConnectorが必要で、decodeを早めに選びます。Pullはprefill後に負荷を見て選ぶ余地があります。
ターンを越す再利用には状態が要る
双方向方式は入力と生成応答のKVをdecodeに残し、次のprefillで取り戻します。ルーターはconversation_id別にブロック位置を保持し、テンソルそのものは持ちません。既定保持は固定480秒で更新されず、期限後は通常計算に戻ります。再利用の既定閾値は64トークンで、それ未満は再計算、以上は転送対象です。AWSはvLLM 0.21.0以降、NixlConnector、両端のbidirectional_kv_xferと対応ルーターを指定します。単一設定だけで配備は完結しません。
二つの測定条件を混ぜない
PushのQwen3-32B試験は各1ノード、P5en/EFA、出力128トークンでdecodeの前置キャッシュを無効化します。毎秒8件、入力16kでTTFT約1744対540ミリ秒、高負荷のTPOTは10.4対7ミリ秒でした。短い入力・低負荷では近い値です。双方向試験は逆にprefill側のキャッシュを切り、履歴喪失を模擬します。Qwenの24kは778対460、GLMの20kは2334対702ミリ秒でした。最大1.6倍と3.3倍はその実験内の比較で、万能ランキングではありません。
分析：方針を選び全体を検証
Push記事は双方向転送や遅いdecode選択にはpullを残すと明示します。倍率は掛け合わせられません。実際のターン間隔、入力重複、負荷でTTFT、逐語遅延、処理量、メモリー、期限切れを測るべきです。実験のためのキャッシュ無効化を普遍的な本番設定にしないでください。再試行、古い位置、会話の分離も運用試験が必要です。これは当サイトの提案で配備や請求の実測ではありません。調整、再利用、経路選択の条件を比較する話であり、全用途の速度保証ではありません。
注目する理由
交接調整か次のターンの再計算かを見極め、メモリー、ネットワーク、ルーティングも比較できます。
制約と提供状況
AWS測定であり当サイトの実験ではありません。倍率を掛けず、個人会員枠や固定料金にも読み替えません。
出典と根拠
原典の公開日: 2026/10/19 · 出典確認日: 2026/10/20
原典の公開日: 2026/10/19 · 出典確認日: 2026/10/20
AI を活用した編集記事を、記載した一次情報で確認しています。企業の主張は出典を明示し、掲載は推奨を意味しません。