심층 해설 · 약 3분 읽기
vLLM의 두 KV 전략은 서로 다른 지연을 다룬다
AWS의 push 전달과 양방향 재사용은 다른 시험이며 개선 배수를 합치면 안 된다.
- 원문 게시일
- 사이트 게시일
- 출처 확인일
10월 19일 두 AWS 가이드는 분리형 vLLM의 KV 이동을 다룬다. 대안적 선택을 묶어 설명하며 누적 가속이나 평가 모델의 새 버전으로 보지 않는다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- Push는 각 한 노드의 P5en/EFA에서 Qwen3-32B TTFT 최대 3배와 TPOT 30% 개선을 보고한다.
- 양방향 재사용은 다른 캐시 조건에서 Qwen3-32B와 GLM-5-FP8 TTFT 최대 1.6배와 3.3배를 보고한다.
같은 구조가 같은 시험은 아니다
Prefill은 입력을 처리해 KV를 만들고 decode는 이를 사용해 토큰을 생성한다. 두 엔진을 분리하면 따로 확장하지만 전달이 추가된다. NIXL과 EFA는 지원 하드웨어에서 호스트를 거치지 않고 장치 메모리를 옮긴다. 저자들은 Trainium에서 개발해 가속기 독립 기능으로 기여했지만 공개 수치는 P5en GPU다. 모든 인스턴스의 직접 전송을 보장하지 않는다. 두 개선은 한 요청의 전달 준비와 다음 턴의 과거 문맥 재계산이라는 서로 다른 대기를 다룬다.
Push는 조정을 먼저 준비한다
Pull은 prefill 후 라우터를 거쳐 위치를 전달하고 decode 읽기를 준비한다. Push는 계산 중 decode가 목적지를 할당·등록한다. 생산자는 등록과 계산 완료가 어느 순서든 둘 다 준비되면 배경 스레드로 설명자를 만들고 NIXL WRITE를 보낸다. Decode는 예상된 완료 알림을 모두 받은 뒤 KV를 쓴다. 주 루프 부담을 줄이지만 양쪽 NixlPushConnector와 이른 decode 선택이 필요하다. Pull은 prefill 뒤 부하를 보고 목적지를 정할 수 있다.
턴 간 재사용에는 유지 상태가 필요하다
양방향 방식은 입력과 생성 응답의 decode KV를 남겨 다음 prefill이 가져온다. 라우터는 conversation_id별 블록 위치를 저장하며 텐서는 저장하지 않는다. 기본 유지 시간은 고정 480초이고 갱신되지 않아 만료 후 일반 prefill로 돌아간다. 기본 재사용 임계값은 64토큰으로, 미만은 재계산하고 이상은 전송할 수 있다. AWS는 vLLM 0.21.0 이상, NixlConnector, 양쪽 bidirectional_kv_xfer와 대응 라우터를 요구한다. 설정 하나로 배포가 완성되지는 않는다.
두 기준선을 따로 읽기
Push 시험은 Qwen3-32B, 각 한 노드, P5en/EFA, 출력 128토큰이며 decode 접두 캐시를 껐다. 초당 8요청·입력 16k에서 TTFT는 약 1744 대 540ms, 고부하 TPOT는 10.4 대 7ms였다. 짧은 입력·낮은 부하는 비슷했다. 양방향 시험은 반대로 prefill 캐시를 꺼 과거 문맥 손실을 모의했다. Qwen 24k는 778 대 460ms, GLM 20k는 2334 대 702ms다. 최대 1.6배와 3.3배는 그 실험 범위이며 보편적 순위가 아니다.
분석: 정책을 선택하고 서비스를 검증
Push 가이드는 양방향 전송이나 늦은 decode 선택에 pull을 권한다. 따라서 배수를 곱하면 안 된다. 실제 턴 간격·입력 중복·부하로 TTFT, 토큰 지연, 처리량, 메모리와 만료를 측정하자. 캐시 해제는 해당 재현 조건이지 보편적인 운영 권고가 아니다. 재시도·낡은 위치·대화 격리도 시험해야 한다. 이는 저희의 제안으로 배포나 청구를 측정하지 않았다. 조정·재사용·라우팅을 명시적 조건으로 비교하는 것이며 모든 앱의 속도 보장이 아니다.
중요한 이유
요청별 조정과 턴 간 재계산 중 병목을 찾고 메모리·네트워크·라우팅을 함께 판단할 수 있다.
제한 및 이용 가능성
AWS 시험이며 저희의 실측이 아니다. 배수를 곱할 수 없고 개인 구독 한도나 고정 요금을 뜻하지 않는다.
출처와 근거
원문 게시일: 2026. 10. 19. · 출처 확인일: 2026. 10. 20.
원문 게시일: 2026. 10. 19. · 출처 확인일: 2026. 10. 20.
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.