Análise aprofundada · Cerca de 6 min de leitura
O guia da Perplexity põe rastros e avaliadores calibrados por trás da nota dos agentes
O guia oficial em seis etapas combina falhas reais, dados fixos e avaliação calibrada por especialistas, sem tratar uma resposta correta como prova de confiabilidade.
- Publicado aqui
- Data da fonte
- Fonte verificada
O guia da Perplexity de 22 de outubro trata da organização de avaliações de agentes, não do lançamento de um modelo ou de um novo resultado de benchmark. O exemplo de compras mostra por que uma nota depende das ações, da repetibilidade e do avaliador.
Ouça as notícias
Ouça este artigo ou continue ouvindo as notícias.
Preparando a leitura…
Voz do dispositivo
O navegador ou dispositivo processa a voz. O AISubHub não envia o texto a uma API de áudio. As vozes e a reprodução com a tela bloqueada variam conforme o dispositivo.
Ao continuar, uma frase curta pode se repetir.
Resumo
- Uma resposta plausível pode esconder ações sem autorização ou respostas vazadas; o resultado e o percurso precisam ser avaliados.
- Cerca de 100 rastros são uma referência para analisar erros, não um mínimo obrigatório. pass@k significa ao menos um sucesso em k tentativas declaradas.
- Reavaliar a mesma execução salva separa a variação do avaliador; regressão, monitoramento e A/B têm papéis diferentes.
O que uma resposta correta pode esconder?
Um assistente de estoque pode sugerir uma peça aparentemente adequada e ignorar uma regra de aprovação. No exemplo industrial da Perplexity, uma peça aprovada indisponível ou dados desatualizados do fornecedor exigem uma resposta apropriada, não uma substituição sem respaldo. O guia recomenda definir tanto a conclusão correta quanto caminhos inaceitáveis para alcançá-la. Especialistas devem verificar se os critérios representam o trabalho real. Um texto fluente não comprova respeito às permissões.
Por isso, a avaliação inclui informações recuperadas, chamadas de ferramentas e decisões intermediárias. Sucesso da tarefa, correção das ações e qualidade da resposta medem propriedades diferentes; confiabilidade envolve repetições e casos extremos. Tempo, tokens e chamadas também entram no custo de uma tarefa bem-sucedida. Nossa análise: a decisão de publicar precisa de condições de aceitação para o fluxo inteiro, não apenas de preferência por uma resposta bem escrita.
Quais falhas devem entrar nos testes?
O guia começa com rastros reais contendo entradas, evidências recuperadas, ações e saídas. Um especialista registra o primeiro erro relevante de cada execução e agrupa observações semelhantes em tipos de falha. Um LLM pode sugerir categorias, mas frequência e gravidade orientam as prioridades. Falhas importantes viram casos reutilizáveis com entrada, condições iniciais, resultado esperado e critérios de avaliação. Isso preserva o problema a corrigir, em vez de trocá-lo por uma tarefa sintética conveniente.
Cerca de 100 rastros são uma referência prática, não um requisito universal de amostragem nem garantia estatística. A revisão pode terminar antes na saturação teórica, quando novos rastros deixam de revelar padrões relevantes. Antes do lançamento, exemplos sintéticos ajudam a começar; dados reais devem orientar a coleção quando disponíveis. Benchmarks padronizados complementam os testes próprios, mas aprovações ou falhas inesperadas exigem investigar as tarefas e respostas esperadas.
Como fazer duas versões enfrentarem o mesmo problema?
A pasta ilustrada separa a solicitação de manutenção dos dados fixos de estoque e peças aprovadas. maintenance_request_01.json contém entrada e resultado esperado; inventory_snapshot.json e approved_parts.json fornecem dados comparáveis. run_evals.py executa e verifica o fluxo, enquanto results armazena saídas, rastros e decisões de aprovação ou falha. É um esquema ilustrativo, não um sistema de produção ou pacote executado por nós. Nossa análise: alterar o estoque entre comparações também altera a tarefa.
As execuções devem preservar recuperação de dados e ações das ferramentas, além do texto final. Como entradas iguais podem produzir resultados diferentes, repetições devem considerar risco, frequência e dificuldade de correção. pass@1 indica sucesso em uma tentativa; pass@k, ao menos um sucesso em k tentativas especificadas. É necessário informar k. Achar uma resposta correta entre várias não garante sucesso sempre nem prova que o agente saiba selecionar a tentativa correta.
Quem deve avaliar cada requisito?
Para condições exatas, o guia favorece verificações por código: peça aprovada, campos válidos, argumentos corretos ou estado final esperado de um banco de dados. A regra é clara, mas não resolve com segurança todo julgamento subjetivo. Questões dependentes do contexto, como a justificativa para não recomendar uma substituição, podem usar um LLM com rubrica explícita. A rubrica deve definir comportamento aceitável e evidências que sustentam o veredito.
Especialistas continuam necessários em decisões técnicas ou contestadas. Diferentes verificações de uma execução podem combinar avaliadores; uma plataforma não decide quais falhas importam ao negócio. Nossa análise: separar permissões da qualidade da explicação torna a nota conjunta mais interpretável. Uma leitura favorável da prosa pelo LLM não pode substituir silenciosamente a checagem exata da lista aprovada. O guia não mede ganho de precisão dessa divisão.
Como separar os erros do agente dos erros do avaliador?
A calibração em cinco passos reúne entradas, saídas e rastros; obtém avaliações independentes do especialista; executa o avaliador LLM; compara as decisões; e investiga divergências para ajustar a rubrica antes de testar exemplos novos. O julgamento humano serve como referência nesse processo, sem ser declarado infalível. Calibração é avaliar quem avalia, não executar novamente o agente em teste.
Para verificar consistência, avaliam-se várias vezes exatamente a mesma execução salva e os mesmos arquivos, sem rodar o agente outra vez. Caso contrário, as duas variações se misturam. Uma matriz de confusão ajuda a examinar erros detectados, erros ignorados e saídas aceitáveis marcadas incorretamente. A revisão humana também encontra falhas ainda desconhecidas pelos avaliadores. O guia cita pesquisas externas sobre problemas em benchmarks; não as lemos integralmente nem reproduzimos seus resultados.
Quando uma correção justifica publicar?
Reproduza a falha com a entrada salva, faça uma mudança direcionada no prompt, modelo ou fluxo e confirme a correção do caso. Depois execute o restante da suíte para detectar comportamentos antes corretos que foram quebrados. A versão base e a atualizada precisam dos mesmos casos e critérios. Asserções, frameworks e CI/CD podem automatizar verificações e limites de publicação, mas não comprovam que os critérios escolhidos cubram os riscos reais.
Em produção, avaliadores calibrados podem examinar amostras de rastros e acompanhar categorias de falha, com pessoas procurando erros novos e solicitações incomuns. Testes A/B adequados acrescentam evidências de negócio, como resolução e satisfação, sem substituir avaliações ou explicar todas as causas. Nossa análise: o ciclo útil conecta uma falha observada a uma verificação repetível e a uma decisão de regressão. O guia não comprova novas funcionalidades ou confiabilidade medida de forma independente.
Por que importa
Equipes podem preservar a falha, suas evidências e seu avaliador, comparar a correção com o fluxo completo e continuar ajustando o processo com uso real.
Limites e disponibilidade
Trata-se de orientação metodológica da Perplexity e de um exemplo de compras. Lemos o artigo completo e a figura, não estudos externos, um agente em produção ou direitos de conta; não medimos precisão, economia nem um limite universal de aprovação.
Fontes e evidências
Data da fonte: · Fonte verificada:
Conteúdo editorial com apoio de IA, verificado em fontes primárias. Alegações dos fornecedores são atribuídas; inclusão não é recomendação.