심층 해설 · 약 5분 읽기
AWS, Bedrock 에이전트의 프롬프트 캐시 설명: 고정 접두부와 구분해야 할 비용 예시
공유 접두부의 명시적 캐시와 이력의 암시적 캐시를 결합하고 도구 변경, 보조 에이전트, 비용 모델, 엔드포인트별 관측을 구분한다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
AWS의 Claudio Mazzoni는 10월 26일 기술 가이드에서 Amazon Bedrock의 OpenAI 모델을 사용하는 에이전트가 계산을 재사용하는 방법을 설명했다. 새 모델 출시 발표가 아니다. 전체 원문과 비용 그래프를 분석했으며 AISubHub는 코드 실행이나 비용·지연·가용성의 독립 측정을 하지 않았다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 캐시 가능한 접두부는 최소 1,024 tokens이다. AWS는 기록 또는 성공한 재사용 이후 최소 30분 수명과 일반 입력 요금의 1.25배인 기록 비용을 설명한다.
- 그림 4의 입력 비용 비율은 제시된 암시적 구성 0.38, 이동 경계 0.39, 캐시 없음 1.00이다. 특정 작업 부하의 결과다.
- 별도 모델 예시는 시작 접두부 8,000 tokens와 매회 2,000 tokens를 더하는 6회 대화이며 비용은 캐시 없음 0.87달러, 고정 0.50달러, 이동 경계 0.32달러다.
1. 계산 재사용은 영구 기억이 아니다
에이전트는 보통 도구 정의, 지시, 이전 대화를 매 요청마다 보낸다. prefill은 입력에서 키·값 상태를 만들고 캐시는 일치하는 접두부 상태를 재사용한 뒤 새 접미부를 처리한다. 입력 토큰이 같아야 하므로 도구 직렬화와 순서를 고정하고 시간, 이름, 요청 식별자 같은 가변 내용은 재사용 부분 뒤에 둔다.
명시적 표시는 도구와 지시 뒤에 공유 종료점을 지정하고 암시적 모드는 적격 대화 끝을 따라간다. 함께 사용할 수 있지만 접두부는 최소 1,024 tokens가 필요하다. 예제의 store=False는 이력을 애플리케이션이 관리하게 할 뿐 캐시를 끄지 않는다. 이 최적화는 영구 기억을 만들거나 요청에 필요한 과거 이력을 생략하도록 허용하지 않는다.
2. 이력이 늘어도 이전 경계를 유지한다
루프는 암호화된 추론을 포함한 모델 출력과 대응하는 도구 결과를 추가하고 이전 메시지는 유지한다. 명시적 방식만 쓸 때 최신 결과 묶음에 표시를 더하면서 과거 표시도 남긴다. 고정 경계만 있으면 이후 이력은 반복 처리된다. 경계 하나를 최신 회차로 옮기는 방식도 재사용을 잃을 수 있다. 한 작업 끝까지 암시적으로 저장했다고 다른 작업용의 짧은 공유 종료점까지 생기는 것은 아니다.
그림 4는 GPT-6 Astra의 6회 도구 루프로, 회차마다 도구 출력 약 2,000 tokens를 사용한다. 상대 입력 비용은 제시된 암시적 구성 0.38, 이동 경계 0.39, 고정만 사용 0.61, 최신 회차만 표시 0.72, 캐시 없음 1.00이다. 약 62%와 61% 절감은 이 구성의 결과이며 그림 9의 다른 모델 예시인 64%와 바꾸어 해석하면 안 된다.
3. 초기 목록을 바꾸지 않고 호출할 도구를 정한다
이미 아는 도구에는 같은 정렬된 TOOLS를 보내고 tool_choice의 allowed_tools로 호출 범위를 바꾼다. auto는 허용 도구를 호출할지 모델이 판단하게 하고 required는 허용된 호출을 최소 한 번 요구한다. 캐시되는 목록은 그대로다. AISubHub는 이를 프롬프트 구성으로 해석하며 애플리케이션 권한이나 안전한 도구 실행이 증명됐다고 보지 않는다.
세션 중 새 도구를 넣는 경우 AWS는 Runtime과 Mantle에서 GPT-6 Astra, GPT-6.1 Sol, GPT-5.6 Luna가 additional_tools를 받는다고 설명한다. 스키마를 이력에 추가하고 초기 목록은 바꾸지 않으며 이후 요청에도 항목을 유지한다. 그 항목 자체에는 경계를 둘 수 없어 명시적 전용 예시는 뒤의 input_text에 표시하고 이전 경계도 남긴다. 역할마다 별도의 고정 목록을 고를 수 있지만 모든 모델·리전의 이용 가능성을 뜻하지 않는다.
4. 보조 에이전트를 병렬 실행하기 전에 예열한다
일반 예열 요청이 완료된 뒤 병렬 작업을 시작한다. 암시적 모드에서도 예열과 보조 요청 양쪽에 공유 접두부를 표시하고 같은 도구, 모델, 키를 쓰며 usage로 캐시 활동을 먼저 확인한다. 요약기는 부모의 전체 이력을 복사한 뒤 지시를 붙여 원본을 바꾸지 않을 수 있다. 새 지시를 추가했다고 캐시 종료점이 자동으로 확장되는 것은 아니다.
재사용에는 같은 모델, AWS 계정, Region, 키와 일치하는 접두부, 아직 사용 가능한 항목이 필요하다. 세션별 키는 내용이 같은 세션도 분리하고 안정된 그룹 키는 의도한 공유를 가능하게 한다. AWS는 마지막 기록 또는 성공한 재사용 후 최소 30분이며 더 길 수도 있다고 한다. 갱신 요청도 비용이 든다. 키와 수명은 영구 보존이나 회계 분리에 따른 보안 보장이 아니다.
5. 모델화한 입력 절감과 실제 청구를 나눈다
그림 9는 GPT-6 Astra 지원 에이전트를 시작 8,000 tokens와 매회 2,000 tokens를 더하는 6회로 모델화한다. 가이드의 온디맨드 요금 가정에 따른 누적 입력 비용은 캐시 없음 0.87달러, 고정 경계 0.50달러, 이동 경계 0.32달러다. 64%는 이 모델 예시의 절감률이며 그림 4나 AISubHub가 시험한 배포 결과가 아니다.
기록 비용은 일반 입력의 1.25배이고 읽기 요금은 모델마다 다르다. 짧은 작업이나 자주 바뀌는 접두부는 기록과 예열 비용을 회수하지 못할 수 있다. 저자는 읽기 절감과 기록 비용을 함께 보라고 권한다. 입력 비용 비율에는 출력 토큰을 제외하되 총 청구에는 별도로 포함해야 한다. 예시 금액은 현재 견적이나 총지출 감소 보장이 아니다.
6. 엔드포인트에 맞는 지표와 거버넌스를 유지한다
응답 usage는 cached_tokens와 cache_write_tokens를 제공한다. Runtime에는 CloudWatch의 CacheReadInputTokenCount와 CacheWriteInputTokenCount도 있고 호출 로그로 요청별 점검을 할 수 있다. 가이드에 따르면 Mantle의 CloudWatch 네임스페이스에는 현재 독립 캐시 카운터가 없어 애플리케이션이 응답 usage를 기록해야 한다. Cost Explorer는 Usage type으로 읽기·기록·미캐시 입력 비용을 나눈다.
저자는 도구 정의와 시스템 프롬프트가 유출되거나 악용될 수 있어 캐시를 거버넌스에 포함해야 한다고 경고한다. AISubHub의 해석은 공유 범위, 권한, 모니터링을 별도로 검토해야 한다는 것이다. 원문이 특정 유출 사건이나 완전한 방어를 입증한 것은 아니다. 링크된 추가 문서를 독립적으로 읽거나 예제를 실행하지 않았으므로 실제 모델·엔드포인트·리전·비용·지연은 각 환경에서 확인해야 한다.
중요한 이유
안정된 공유 접두부, 추가만 하는 대화 이력, 보조 에이전트와의 의도적 공유를 구별하는 것이 핵심 설계다. 절감은 옵션을 켜는 것보다 경계를 유지하고 실제 읽기와 기록을 관측하는 데 달려 있다.
제한 및 이용 가능성
전체 공식 가이드와 필요한 비용 그래프를 근거로 했다. AWS 작업 부하 결과와 모델화한 비용은 서로 다른 증거다. 코드·보충 문서·현재 가격·배포를 독립적으로 시험하지 않았다.
출처와 근거
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.