Análise aprofundada · Cerca de 7 min de leitura
IBM ALTK-Evolve: o que a memória de diretrizes muda nos testes de atendimento
A IBM Research relata melhores resultados em execuções repetidas com diretrizes fixas no prompt, com escolhas específicas por domínio entre quantidade de regras, custo de avaliação e confiabilidade.
- Publicado aqui
- Data da fonte
- Fonte verificada
Em um artigo comunitário de primeira parte de 20 de outubro, a IBM Research descreve como o ALTK-Evolve transforma tentativas de treinamento de um agente em diretrizes comportamentais reutilizáveis. O estudo de atendimento mede se a memória no prompt ajuda um agente, sem outras mudanças, a repetir resultados bem-sucedidos. Os destaques exigem separar testes reservados, uma comparação com um ranking salvo e o custo de executar conversas simuladas.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- A configuração principal usa GPT-4.1 tanto no agente quanto na extração de diretrizes, e GPT-5.5 para simular clientes. As diretrizes são acrescentadas depois da política original e ficam inalteradas nas tarefas reservadas; os pesos do modelo não são atualizados.
- Com quatro tentativas por tarefa, o Pass⁴ do conjunto reservado de varejo sobe de 57.5% para 67.5% com todas as diretrizes. Em aviação, o melhor Pass⁴ vem do conjunto menor sup3: 45%, contra 35% da base e 40% do conjunto completo.
- Os custos de conversa relatados incluem agente e simulador de clientes na partição base completa. Os autores relatam aumentos com lossless de 65% no varejo e 32% em aviação; não são estabelecidas medições de latência de produção ou economia de cache.
1. A memória é uma lista de regras aprendida antes da avaliação
O mecanismo começa com trajetórias de tarefas de treinamento. O GPT-4.1 extrai diretrizes curtas de sucessos e falhas, e a lista consolidada é colocada depois da política de domínio no prompt do sistema. O agente mantém a estrutura original THINK → ACT, a política e as ferramentas do τ²-bench. Uma tarefa só tem sucesso quando o estado final do banco de dados coincide com o resultado esperado. A intervenção muda as instruções disponíveis no momento da decisão, sem atualizar os pesos do modelo.
As diretrizes descrevem ações como verificar identidade e confirmar as alterações pretendidas antes de atualizar um registro. Em uma hipótese da AISubHub, um agente de devoluções poderia lembrar de obter aprovação explícita antes de chamar uma ferramenta de reembolso. Isso é um lembrete de procedimento, não uma afirmação sobre um cliente real ou uma implantação demonstrada. A IBM diz que a extração dispensa anotação humana; o benchmark, as políticas e o desenho experimental ainda envolvem escolhas humanas. A lista aprendida fica fixa na avaliação reservada, em vez de ser reescrita a partir de falhas de teste.
2. Sucesso repetido e sucesso médio respondem a perguntas diferentes
Cada tarefa reservada recebe quatro testes: são 40 tarefas de varejo e 20 de aviação. A acurácia média calcula a média dos sucessos das tentativas; Pass⁴ conta tarefas que têm sucesso nas quatro. Não é pass@4, que pergunta se pelo menos uma tentativa funciona. O suporte de uma diretriz conta as diferentes tarefas de treinamento que contribuíram para a regra. O filtro sup3 exige suporte de pelo menos três, preservando 31 diretrizes de varejo e 14 de aviação; lossless mantém todas as diretrizes consolidadas, respectivamente 292 e 101.
No varejo, lossless eleva a acurácia média de 78.1% para 82.5% e o Pass⁴ de 57.5% para 67.5%, um ganho de confiabilidade de 10 pontos percentuais. Aviação traz o importante contraexemplo a acrescentar tudo: lossless tem a maior acurácia média, 65% contra 57.5% da base, mas sup3 tem o maior Pass⁴, 45% contra 35% da base e 40% de lossless. A interpretação da AISubHub é que a seleção de regras precisa de uma verificação de confiabilidade por domínio; a evidência não identifica um tamanho de memória universalmente melhor.
3. Papéis dos modelos e partições de avaliação precisam ficar visíveis
O GPT-4.1 executa o agente principal e a extração, mas GPT-5.5 é o simulador de clientes. Portanto, o processo inclui um modelo de fronteira. Um experimento separado de aviação usa GPT-5.5 no agente e na extração, em 20 tarefas reservadas. Nenhuma regra extraída chega a suporte três, de modo que a variante compacta é sup2, com 103 diretrizes; lossless tem 146. O Pass⁴ de ambas é 70%, contra 55% da base. A acurácia média de lossless chega a 82.5%, contra 72.5% da base, sustentando um benefício além do agente mais antigo nessa configuração.
A comparação com o ranking usa a partição base completa, incluindo tarefas de treinamento, e uma fotografia salva de 12 de outubro de 2026. No varejo, GPT-4.1 com lossless marca 67.5% de Pass⁴ contra 61.4% do RAFT-30B-A3B, diferença de 6.1 pontos. Na base completa de aviação, são 44% para GPT-4.1 com sup3 e 82% para GPT-5.5 com lossless. Essas são comparações de sistemas de agentes configurados naquele retrato. Não estabelecem uma posição geral do GPT-4.1 como modelo, e os números da base completa não substituem a evidência de transferência em tarefas reservadas.
4. Mais conteúdo no prompt tem um custo de avaliação mensurável
O estudo de custo cobre a partição base completa: 114 tarefas de varejo e 50 de aviação, com quatro tentativas. Os valores em USD por conversa combinam o uso de LLM do agente e do simulador de clientes. Base, sup3 e lossless custam $0.084, $0.095 e $0.139 no varejo; em aviação, $0.081, $0.097 e $0.107. Os autores relatam aumentos com lossless de 65% e 32%. São resultados de contabilização da avaliação, não cobranças apenas do agente, preços de tokens do modelo ou orçamento de produção.
Na partição de teste reservada, a duração das conversas em turnos é comparada apenas em execuções com o mesmo cenário e semente, resolvidas nas duas configurações. Para lossless, o subconjunto de varejo tem 111 execuções e cai de 10.59 para 10.16 turnos do assistente; aviação tem 40 e cai de 9.15 para 8.82. Isso controla a comparação, mas exclui outros resultados. Não demonstra conversas mais curtas em toda tarefa nem melhoria medida no tempo de relógio. A sugestão dos autores de que cache de prompts pode recuperar grande parte do custo adicional é uma inferência sobre produção, sem um experimento de cache aqui.
5. Trate o resultado como um projeto a avaliar localmente
A análise da AISubHub é que o estudo torna testável um projeto concreto: extrair lembretes procedimentais de históricos de treinamento cujo uso seja permitido, fixá-los e medir conclusão média e sucesso repetido em tarefas separadas. Comparar um conjunto compacto de regras com um mais amplo, registrando o tamanho do prompt e o custo operacional total. Uma avaliação local também deve examinar falhas: uma regra pode ajudar um fluxo comum e desviar a atenção de uma condição de política menos frequente. Isso é uma proposta de avaliação, não um resultado reproduzido.
Os conjuntos reservados pequenos e as quatro tentativas deixam incerteza; o artigo não fornece intervalos de confiança. A IBM afirma que não há vazamento do conjunto de teste, algo que a AISubHub não auditou de forma independente. Lemos o artigo completo e suas três figuras, mas não inspecionamos os repositórios vinculados ou os PRs de submissão, não executamos o sistema nem reproduzimos os resultados independentemente. A evidência se refere à memória de agentes de atendimento e não estabelece melhoria geral entre domínios ou resultados garantidos em produção.
Por que importa
Análise da AISubHub: equipes podem avaliar a memória de procedimentos como parte explícita de um sistema de agentes, escolhendo cobertura de regras em relação à confiabilidade de execuções repetidas e ao custo total. O contraexemplo de aviação justifica comparar memórias compactas e completas, em vez de presumir que mais regras sempre ajudam.
Limites e disponibilidade
Todos os números de desempenho e custo são resultados relatados pela IBM Research. Testes reservados, comparações de ranking na base completa e análises de execuções pareadas bem-sucedidas têm denominadores distintos. O ranking salvo é de 12 de outubro de 2026; não se afirma ranking atual, reprodução independente, economia de cache ou redução medida de latência.
Fontes e evidências
Data da fonte: · Fonte verificada:
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.