Critérios para confiar (ou não) em uma resposta

Os três módulos anteriores deram o diagnóstico: como o modelo gera texto, por que o contexto molda a resposta, e os cinco padrões de erro mais comuns. Este módulo é o tratamento — um método para decidir, em segundos, o quanto verificar antes de usar uma resposta.

Sem método, a tendência é uma de duas extremidades ruins: confiar em tudo (rápido, mas exposto ao erro) ou verificar tudo do zero (seguro, mas caro demais para valer a pena usar IA). O meio-termo exige um critério explícito.

O critério: custo do erro, não confiança no modelo

A pergunta certa não é "esse modelo é confiável?". É: quanto custa se essa resposta específica estiver errada, e alguém vai perceber antes de custar?

Duas respostas do mesmo modelo, sobre o mesmo assunto, podem merecer níveis de verificação completamente diferentes:

• "Me dá três ideias de título para esse e-mail" — errar custa quase nada, você vê o resultado na hora e escolhe.
• "Esse contrato tem alguma cláusula de rescisão automática?" — errar pode custar uma decisão jurídica tomada sobre uma premissa falsa, e ninguém mais vai checar antes de agir.

O modelo é o mesmo. O critério muda porque a consequência do erro muda.

As três perguntas antes de usar uma resposta

Aplique nesta ordem. Cada "sim" aumenta o nível de verificação necessário.

1. Alguém vai agir sobre isso sem checar? Se você mesmo vai revisar, testar ou comparar antes de usar, o risco já está mitigado por você. Se a resposta vai direto para outra pessoa, para um sistema ou para uma decisão — sem outra revisão no meio — o risco é todo seu, agora.

2. Dá para verificar mais rápido do que dá para refazer do zero? Se sim, verificar é a escolha óbvia — é aí que a IA economiza tempo de verdade: você checa uma resposta pronta em vez de produzir do zero. Se verificar exige o mesmo trabalho que fazer sem IA (reconstruir a lógica, checar fonte por fonte), o ganho de tempo desaparece e vale considerar não usar a IA nessa etapa.

3. O erro, se existir, é visível ou silencioso? Um código que não compila é um erro visível — o sistema avisa. Um número errado em uma planilha, uma cláusula mal interpretada, um dado inventado com aparência plausível — isso é silencioso, ninguém avisa. Erros silenciosos exigem verificação ativa porque nada vai forçar a correção depois.

Como isso vira um hábito, não uma checklist

Rodar três perguntas em toda resposta seria mais lento do que o problema que resolve. Na prática, o método vira reflexo em duas semanas de uso deliberado, porque as respostas se agrupam em padrões:

• Uso pessoal, reversível, revisado por você mesmo → uso direto, sem fricção.
• Vai para terceiros ou para um sistema, mas o erro seria visível → uso com uma checada rápida.
• Envolve dado específico, decisão importante ou erro silencioso → verificação ativa, com fonte, antes de qualquer uso.

Depois de classificar algumas dezenas de respostas assim, você para de decidir caso a caso — já sabe em qual categoria a próxima resposta cai só de ler o tipo de pergunta que fez.

Onde os módulos anteriores encaixam aqui

O método só funciona porque você já sabe o que procurar, graças aos módulos anteriores:

• Sabe que dado específico não fornecido por você é suspeito por padrão (módulo 3) — então checa exatamente esse tipo de dado primeiro.
• Sabe que confiança e acerto são desacoplados (módulo 3) — então não usa o tom da resposta como sinal de nada.
• Sabe que informação no meio de um contexto longo recebe menos peso (módulo 2) — então, ao verificar, olha com mais atenção para o que veio do meio do material, não só do início e do fim.

Verificar sem saber onde o erro tende a aparecer é caro. Verificar sabendo é rápido.

Exercício

Pegue as três últimas vezes que você usou uma resposta de IA sem verificar nada. Para cada uma, responda as três perguntas do método.

Se todas as respostas confirmam que não verificar foi a escolha certa, ótimo — o método também serve para validar decisões boas, não só para apontar erro. Se alguma resposta deveria ter passado por uma checagem e não passou, essa é a categoria a prestar atenção daqui para frente.

O que fica

• O critério de verificação é o custo do erro, não a confiança geral no modelo.
• Três perguntas: alguém age sem checar? verificar é mais rápido que refazer? o erro é visível ou silencioso?
• O método vira hábito quando as respostas se agrupam em poucos padrões recorrentes.
• Os padrões de erro do módulo anterior dizem onde olhar primeiro ao verificar.

Este é o último módulo aberto de Fundamentos de IA. O que vem a seguir — automação, agentes, uso em código, uso em negócio — parte deste ponto: o mecanismo, os limites e o critério para confiar já são seus.