Avaliação e testes de comportamento

Testar um fluxo automatizado é relativamente direto: o caminho é fixo, então você confere se a saída de cada etapa bate com o esperado. Um agente quebra essa lógica — o módulo 1 já estabeleceu que o caminho muda a cada execução, então não existe "a" saída esperada para comparar. Este módulo trata de como avaliar um sistema assim mesmo sem esse ponto de referência fixo.

Por que testar entrada-saída não basta

Com um agente, dar a mesma entrada duas vezes pode produzir dois caminhos de execução diferentes — ambos legítimos, ambos possivelmente corretos — porque o sistema decide sozinho como chegar ao objetivo. Testar só se a saída final bateu com uma resposta fixa esconde um problema real: o agente pode ter chegado à resposta certa por um caminho perigoso, usando uma ferramenta fora do esperado, ou pode ter usado mais etapas do que deveria sem que isso apareça no resultado final.

Avaliar um agente exige olhar para o processo, não só para o resultado.

Três camadas de avaliação

1. O objetivo foi alcançado? A pergunta mais básica, equivalente ao teste de um fluxo comum. Necessária, mas insuficiente sozinha, pelo motivo acima.

2. O caminho ficou dentro dos limites? Usando a configuração do módulo 2 — ferramentas, permissões, limites de etapas e escopo — confira se o agente respeitou tudo isso durante a execução, não só se o resultado final parece correto. Um agente que atingiu o objetivo estourando o limite de etapas, ou usando uma ferramenta fora do escopo antes de ser bloqueado, revela uma falha de configuração mesmo com resultado aparentemente bom.

3. O comportamento é consistente em variações da mesma tarefa? Rode a mesma categoria de tarefa várias vezes, com pequenas variações na entrada. Um agente confiável mantém o padrão de decisão razoavelmente estável entre execuções parecidas — grande variação de comportamento em entradas semelhantes é sinal de que o objetivo declarado está ambíguo ou mal especificado, não necessariamente de um defeito no sistema.

Montando um conjunto de casos de teste

Da mesma forma que o módulo de escolha de modelo (em Fundamentos de IA aplicado a modelos comuns) recomendava vinte a cinquenta exemplos reais antes de comparar modelos, um agente precisa de um conjunto de casos que cubra:

• Casos típicos, representando o uso mais comum esperado.
• Casos de borda, nos limites do escopo declarado — o ponto exato em que a tarefa deveria ser recusada ou escalada para um humano, não executada.
• Casos de ferramenta indisponível, simulando uma das ferramentas falhando no meio da execução, para confirmar que o agente lida com isso sem tentar contornar a limitação de forma inesperada.
• Casos adversos, entradas desenhadas para tentar induzir o agente a extrapolar o escopo ou usar uma ferramenta fora do permitido — testar isso antes de produção é mais barato do que descobrir depois.

Avaliação não termina no lançamento

Como o módulo 4 de Automação com IA já estabeleceu para fluxos, a avaliação de um agente não é uma etapa única antes do lançamento — é algo a repetir, porque o tipo de entrada real muda com o tempo e pode revelar comportamento fora dos casos de teste originais. Para agentes, isso importa ainda mais: como o caminho de execução não é fixo, um comportamento novo e inesperado pode aparecer sem que nada tenha mudado no código do sistema — só a combinação de entrada e contexto foi diferente o suficiente.

Exercício

Para o agente que você configurou no exercício do módulo 2, escreva de cinco a dez casos de teste cobrindo as quatro categorias acima (típico, borda, ferramenta indisponível, adverso). Para cada um, descreva o comportamento esperado nas três camadas de avaliação.

O que fica

• Testar só a saída final não basta para um agente — o caminho pode ter sido perigoso mesmo com resultado correto.
• Três camadas de avaliação: objetivo alcançado, caminho dentro dos limites configurados, comportamento consistente entre variações da mesma tarefa.
• Um conjunto de teste completo cobre casos típicos, de borda, de ferramenta indisponível e adversos — testados antes de produção.
• Avaliação de agente é contínua, não uma etapa única: o caminho de execução não fixo pode revelar comportamento novo mesmo sem mudança no sistema.