Análise aprofundada · Cerca de 6 min de leitura
AWS explica cache de prompts em agentes Bedrock: prefixos estáveis e custos em contextos distintos
O guia combina prefixos compartilhados explícitos e histórico implícito, separando ferramentas, agentes auxiliares, custos modelados e métricas de cada endpoint.
- Publicado aqui
- Data da fonte
- Fonte verificada
O guia técnico de Claudio Mazzoni, publicado pela AWS em 26 de outubro, descreve a reutilização de processamento com modelos OpenAI no Amazon Bedrock. É um tutorial de arquitetura, não o lançamento de um modelo. A análise considera o texto completo e os gráficos; o AISubHub não executou código nem mediu independentemente custo, latência ou disponibilidade.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- O prefixo precisa de pelo menos 1 024 tokens; a AWS informa duração mínima de 30 minutos renovada por reutilização bem-sucedida e escrita a 1,25 vez a tarifa normal de entrada.
- Na figura 4, a configuração implícita mostrada custa 0,38 e os pontos móveis 0,39, contra 1,00 sem cache: resultados de uma carga específica.
- Outro exemplo modelado usa prefixo de 8 000 tokens e seis turnos adicionando 2 000 cada: US$ 0,87 sem cache, US$ 0,50 estático e US$ 0,32 com pontos móveis.
1. Reutilizar processamento não cria memória permanente
O agente normalmente reenvia ferramentas, instruções e interações anteriores. No prefill, o modelo calcula o estado de chaves e valores; o cache reutiliza o prefixo correspondente e processa o novo sufixo. Os tokens precisam ser iguais, portanto serialização e ordem das ferramentas devem permanecer estáveis. Datas, nomes e identificadores variáveis ficam depois do prefixo reutilizável.
Marcadores explícitos definem um término compartilhado após ferramentas e instruções; o modo implícito acompanha finais elegíveis da conversa. Ambos podem ser combinados, com prefixo mínimo de 1 024 tokens. Nos exemplos, store=False mantém o histórico sob responsabilidade da aplicação e não desliga o cache. A otimização não é memória persistente nem permite omitir histórico necessário à solicitação.
2. Manter pontos anteriores ao ampliar a conversa
O laço acrescenta saídas do modelo e resultados correspondentes das ferramentas, inclusive raciocínio criptografado, preservando mensagens anteriores. No modo somente explícito, marca o lote mais recente sem remover marcadores antigos. Um ponto estático volta a processar o histórico posterior; deslocar um único ponto ao turno mais novo também pode perder reutilização. Um término implícito após uma tarefa não garante um prefixo compartilhado mais curto para outra.
A figura 4 mostra seis turnos com GPT-6 Astra e cerca de 2 000 tokens de saída de ferramentas por turno. O custo relativo de entrada é 0,38 para o modo implícito mostrado, 0,39 para pontos móveis, 0,61 para estático e 0,72 marcando apenas o turno mais recente, contra 1,00 sem cache. As reduções aproximadas de 62% e 61% são dessas configurações, não os 64% modelados na figura 9.
3. Mudar chamadas permitidas sem reconstruir o catálogo
Para ferramentas conhecidas, o guia mantém o mesmo TOOLS ordenado e altera allowed_tools em tool_choice. auto permite ao modelo decidir se chama uma ferramenta autorizada na lista; required exige pelo menos uma chamada permitida. O catálogo em cache permanece igual. O AISubHub interpreta isso como organização do prompt, não como comprovação de autorização ou execução segura na aplicação.
Para ferramentas novas durante a sessão, a AWS diz que Runtime e Mantle aceitam additional_tools em GPT-6 Astra, GPT-6.1 Sol e GPT-5.6 Luna. O esquema é acrescentado ao histórico sem alterar o catálogo inicial e permanece nas requisições seguintes. additional_tools não recebe um ponto de cache: o exemplo somente explícito o coloca em input_text posterior e mantém os anteriores. Papéis diferentes começam com catálogos estáveis próprios; não há afirmação de disponibilidade universal por modelo ou região.
4. Aquecer o contexto antes de distribuir auxiliares
O pedido comum de aquecimento deve terminar antes de iniciar chamadas paralelas. Aquecimento e auxiliares marcam o prefixo compartilhado mesmo no modo implícito, usando as mesmas ferramentas, modelo e chave. Contadores confirmam atividade de cache antes da distribuição. Um resumidor pode copiar o histórico completo do agente principal e adicionar sua instrução sem alterar o original; isso não cria automaticamente um novo término em cache.
A reutilização exige mesmo modelo, conta AWS, Region, chave e prefixo correspondente, com entrada ainda disponível. Uma chave por sessão separa sessões idênticas; uma chave estável possibilita o compartilhamento previsto. A AWS indica ao menos 30 minutos após a última escrita ou reutilização bem-sucedida, talvez mais. Atualizar também custa: duração e chave não prometem retenção permanente nem transformam separação contábil em garantia de segurança.
5. Separar custo modelado da conta de produção
A figura 9 modela um agente de suporte GPT-6 Astra com prefixo inicial de 8 000 tokens e seis turnos adicionando 2 000 cada. Sob os preços sob demanda assumidos no guia, o custo acumulado de entrada chega a US$ 0,87 sem cache, US$ 0,50 com ponto estático e US$ 0,32 com pontos móveis. Os 64% pertencem a esse exemplo modelado, não à figura 4 nem a uma implantação testada pelo AISubHub.
A escrita custa 1,25 vez a entrada normal; a leitura varia por modelo. Tarefas curtas ou prefixos alterados com frequência podem não amortizar escrita e aquecimento. O autor recomenda confrontar os gastos com a economia de leitura. Tokens de saída ficam fora da comparação das parcelas de entrada, mas entram separadamente na conta total. Valores ilustrativos não são cotação atual nem promessa de redução da despesa total.
6. Usar métricas do endpoint correto e preservar a governança
usage informa cached_tokens e cache_write_tokens. Runtime também tem CacheReadInputTokenCount e CacheWriteInputTokenCount no CloudWatch, além de logs de invocação para verificar requisições. Segundo o guia, o namespace CloudWatch de Mantle ainda não tem contadores separados de cache; a aplicação deve registrar usage. Cost Explorer agrupa por Usage type para distinguir leituras, escritas e entrada sem cache.
O autor alerta que definições de ferramentas e prompts de sistema podem vazar ou ser explorados, incluindo o cache na governança. Nossa interpretação pede revisão própria de compartilhamento, permissões e observação; o texto não demonstra um incidente específico nem uma defesa completa contra vazamentos. Não lemos independentemente a documentação vinculada nem executamos exemplos. Modelo, endpoint, região, custo e latência continuam sujeitos a verificação local.
Por que importa
O desenho útil separa prefixo compartilhado estável, histórico que só recebe acréscimos e compartilhamento deliberado entre auxiliares. A economia depende de preservar essas fronteiras e acompanhar leituras e escritas reais, além de ativar uma opção.
Limites e disponibilidade
Baseado no guia oficial completo e nos gráficos necessários. Resultados de carga e custos modelados são evidências diferentes atribuídas à AWS. Não houve teste independente de código, documentos complementares, preços atuais ou implantação.
Fontes e evidências
Data da fonte: · Fonte verificada:
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.