Análise aprofundada · Cerca de 7 min de leitura
Guia de RL em múltiplos turnos da AWS inclui recompensa, decodificação e conta completa no resultado
Um tutorial de Wordle no SageMaker AI relata ganhos do gpt-oss-20b e mostra por que configurações de avaliação, erros de recompensa e custos do AgentCore precisam permanecer visíveis.
- Publicado aqui
- Data da fonte
- Fonte verificada
A AWS publicou um guia prático de continuidade sobre aprendizado por reforço em múltiplos turnos no SageMaker AI. O artigo técnico de 23 de outubro treina o gpt-oss-20b para jogar Wordle e explica falhas de recompensa, problemas operacionais e condições de avaliação. É nova evidência de implementação de um serviço existente, não outro anúncio da disponibilidade geral das sessões de treinamento ou de um novo modelo base.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- Em 128 palavras reservadas, a AWS relata 61%→84% de solução com raciocínio médio e temperatura 1.0; com raciocínio baixo na mesma temperatura,15%→69%.
- A execução de 100 etapas usou 105,486 rollouts em 12h40m; as cobranças de tokens do modelo —prefill, amostragem e treinamento— somaram $338.50. Aproximadamente $79 do AgentCore são separados.
- O guia mostra como uma recompensa mal ponderada preferia soluções lentas e por que 37% no final da validação durante o treinamento não são os 84% da avaliação em serviço.
O alvo do treinamento é um episódio, não uma resposta de exemplo
Um agente de várias etapas precisa de feedback sobre a sequência de decisões, não só de uma resposta para imitar. Na arquitetura da AWS, o SageMaker AI gerencia o trabalho de treinamento e o modelo de política; um runtime do AgentCore hospeda um agente Strands, o ambiente e a pontuação. O agente pede um palpite ao modelo, recebe o retorno do Wordle e informa uma recompensa ao encerrar a partida. O GRPO compara vários rollouts da mesma palavra e atualiza um adaptador LoRA. Cinco letras e seis tentativas tornam o resultado fácil de pontuar; é uma tarefa didática, não evidência de fluxo em produção.
O exemplo separa 640 palavras de treinamento de 128 reservadas. Cada linha leva a palavra secreta para o ambiente, nunca como pista da resposta para a política. Não há respostas-alvo nem trajetórias rotuladas. São 100 etapas,128 palavras por etapa e oito partidas por palavra, com esforço de raciocínio baixo e temperatura 1.0. Essa separação importa: recompensa e ambiente funcionais fornecem o sinal de aprendizado, mas continuam sendo responsabilidades do cliente.
A recompensa pode melhorar enquanto piora o comportamento pretendido
O primeiro desenho acumulava bônus após cada tentativa. Podia atribuir+0.49 a uma derrota,+0.99 a uma solução na primeira tentativa e+1.61 a outra na terceira, premiando um caminho mais longo em vez do melhor desfecho. O desenho final torna dominante o resultado do episódio: resolver rende de 1.55 na primeira tentativa a 1.05 na sexta; derrota vale−0.5 e ausência de palpite válido,−1.5. Consistência com pistas, repetição e ganho de informação contribuem ajustes menores de modelagem da recompensa.
Esses ajustes são limitados entre−1 e 1 e recebem peso 0.04 em partidas resolvidas e 0.15 nas demais. Um peso anterior de 0.15 nas resolvidas ainda podia favorecer conclusões mais lentas; reduzi-lo separa faixas de sucesso adjacentes e mantém a pior solução acima do limiar de sucesso. Na interpretação da AISubHub, a lição operacional é examinar trajetórias reais e comparar a ordem das recompensas com a conduta desejada. Aumento da recompensa média, sozinho, não prova que o agente aprendeu o objetivo correto.
O ganho principal depende de raciocínio e amostragem
Em 128 palavras reservadas, o modelo base resolve 61% e o treinado 84% com raciocínio médio e temperatura 1.0, diferença de 23 pontos percentuais. Os 84% são a média de duas execuções,80% e 88%. Com esforço baixo e temperatura 1.0, a comparação é 15%→69%, ou 54 pontos. Na temperatura 0, o gráfico mostra 2%→37% para esforço baixo e 16%→30% para médio. São quatro condições diferentes, não estimativas intercambiáveis de um ganho universal.
Durante o treinamento, a validação usa raciocínio baixo e temperatura 0 fixada pelo serviço. A curva chega a 48% na etapa 90 e termina em 37%, enquanto o destaque em serviço usa esforço médio e amostragem. A fonte relaciona explicitamente a diferença à decodificação. O esforço baixo usou 63–83% menos tokens amostrados por partida que o médio nas avaliações dos autores; não é garantia dessa redução no custo total. O conjunto reservado é pequeno e a AWS não estabeleceu resultados para ferramentas, idiomas ou tarefas de negócio arbitrários.
Tokens de treinamento não compõem a conta inteira
A execução de 100 etapas durou 12h40m e processou 105,486 rollouts. A tabela lista 491,616,806 tokens de prefill a $0.12 por milhão, totalizando $58.99;159,737,098 tokens amostrados a $0.30, totalizando $47.92; e 643,308,554 tokens de treinamento a $0.36, totalizando $231.59. A soma é $338.50, arredondada para cerca de $339. São preços de tabela do GPT-OSS-20B em us-east-1 na época do artigo. Preservamos o símbolo$ da fonte sem atribuir independentemente uma moeda nem apresentar os valores como cotação atual universal.
CPU e memória do AgentCore acrescentam aproximadamente $79 à parte, e as avaliações cerca de $1.20. Prefill inclui reler o histórico; tokens amostrados incluem raciocínio, e o treinamento com passagem reversa é a maior cobrança indicada. Trajetórias longas afetam vários medidores. O guia alerta ainda que recursos de AgentCore, MLflow e S3 podem permanecer após o treinamento. A AISubHub vê um exemplo contábil útil, mas não verificou uma fatura nem estabeleceu um custo completo com todos os recursos mantidos e a implantação posterior.
Falhas de runtime podem comprometer um experimento válido
O guia registra problemas ocultos por uma taxa de acerto isolada. A função do trabalho precisa do principal de confiança job.sagemaker.amazonaws.com e das permissões AssumeRole e TagSession. Um decorador de handler sozinho não inicia o servidor: o exemplo exige BedrockAgentCoreApp e um decorador entrypoint mais externo. Dados, runtime e trabalho devem usar a mesma região. Reimplantar o runtime durante o treinamento interrompe rollouts e pode fazer o trabalho falhar.
Trinta e dois rollouts simultâneos também expuseram a expiração de credenciais em cache; os autores descrevem renovação antecipada e nova assinatura após falha de autorização. Orçamentos de tokens podiam não deixar espaço para chamadas de ferramentas, e uma taxa de aprendizado alta demais podia transformar chamadas estruturadas em texto simples. As mitigações são lições de implementação, não garantias de confiabilidade. Lemos o código incluído, mas não instalamos dependências, chamamos APIs AWS, executamos o teste de fumaça, treinamos adaptador ou reproduzimos as correções.
O que se transfere para além deste tutorial de Wordle
A tabela de modelos se restringe à data de redação: Nova2Lite e GPT-OSS-20B em us-east-1 e us-west-2, e Gemma4 31B ajustado para instruções e Qwen3.6 27B em us-west-2, usando LoRA. Não estabelece suporte a todos os modelos, regiões ou contas. Este guia de continuidade tampouco relança esses modelos ou o serviço separado de sessões de treinamento, já abordado antes.
O desenho transferível é revisar separadamente resultado da tarefa, incentivos de recompensa, configuração em serviço e custo total de recursos. Um fluxo de negócio precisaria de ambiente próprio, recompensa defensável e avaliação reservada representativa antes de alegar benefício. Nossa leitura inclui o artigo completo, todas as tabelas e sete figuras estáticas necessárias. Não auditamos documentação, artigos científicos, repositório ou licenças vinculados, nem fizemos testes independentes de desempenho, preços ou segurança. Os resultados continuam sendo o experimento delimitado de Wordle relatado pela AWS.
Por que importa
O guia oferece maneiras concretas de examinar um projeto de treinamento em múltiplos turnos: testar a ordenação das recompensas, comparar condições idênticas de decodificação e orçar tanto o modelo quanto o runtime do agente. Melhorias em outro fluxo precisam ser medidas nesse próprio fluxo.
Limites e disponibilidade
A AWS relata um único experimento de Wordle com 128 palavras reservadas; a taxa principal treinada é média de duas execuções. Revisamos o guia completo e sete figuras, não documentos, repositórios ou licenças vinculados, e não realizamos testes de treinamento, API, cobrança ou implantação. Preços e condições de modelos e regiões são afirmações da época da fonte.
Fontes e evidências
Data da fonte: · Fonte verificada:
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.