Onde a IA erra e por quê

Você já viu o mecanismo (módulo 1) e como o contexto molda a resposta (módulo 2). Este módulo usa os dois para fazer algo mais útil do que "desconfiar de tudo": separar os erros em famílias reconhecíveis, porque cada família tem um sintoma diferente e uma forma diferente de pegar.

Não existe uma lista definitiva — mas cinco padrões cobrem a maioria dos problemas que aparecem no trabalho real.

1. Alucinação por lacuna

Quando falta informação, o mecanismo do módulo 1 não produz "não sei" — produz o token mais plausível para continuar o texto. Se a pergunta é sobre algo que não está no treino nem no contexto, o modelo preenche a lacuna com algo que soa certo.

Sintoma: a resposta é específica demais para o que foi perguntado — um número exato, uma citação, um nome de lei — em um assunto onde você não forneceu essa precisão.

Como pegar: todo dado específico (número, data, nome próprio, citação) que você não colocou no contexto é suspeito por padrão. Peça a fonte. Se a fonte não aparecer ou não bater, o dado não existe.

2. Confiança desacoplada de acerto

Já apareceu no módulo 1, mas merece entrar como padrão próprio porque é o mais enganoso: o tom da resposta é uma característica de estilo, não uma medição de certeza. Um modelo erra com a mesma fluência com que acerta.

Sintoma: nenhum — e esse é o problema. Não existe sinal visual que diferencie uma resposta certa de uma errada escritas pelo mesmo modelo.

Como pegar: não existe atalho aqui. A defesa é estrutural, não perceptual — trate toda saída sem fonte verificável como não verificada, independente de quão convincente ela pareça.

3. Deriva em tarefa longa

Em tarefas com várias etapas — resumir um documento longo, seguir uma lista extensa de instruções, manter uma regra ao longo de uma conversa — o modelo tende a "esquecer" uma restrição dada no início conforme a saída cresce.

Sintoma: as primeiras instruções são seguidas à risca; lá pela metade, uma delas some sem aviso.

Como pegar: depois de gerar uma saída longa, releia especificamente as restrições do início contra o fim do resultado — não o meio. É onde a deriva mais aparece. Para tarefas críticas, quebrar em etapas menores (como o módulo 2 já sugeriu para contexto) reduz a chance de deriva porque cada etapa tem menos coisa para "esquecer".

4. Excesso de confiança em domínio estreito

Modelos generalistas são treinados em uma fatia enorme e rasa do conhecimento humano. Em domínios muito específicos — uma norma técnica interna, uma jurisprudência recente, uma particularidade regional — a cobertura no treino é fina, mas a resposta sai com a mesma fluência de sempre.

Sintoma: a resposta parece correta para quem não é especialista no assunto, e é exatamente por isso que esse padrão é perigoso — quem poderia notar o erro é quem menos precisa perguntar.

Como pegar: em domínios muito específicos da sua empresa ou área, trate a IA como um rascunho a ser validado por alguém que sabe do assunto, nunca como fonte final. Quanto mais estreito e mais recente o domínio, menor a confiança default.

5. Otimização para o pedido, não para o objetivo

O modelo responde ao que foi escrito, não ao que você queria dizer. Se o pedido está mal formulado, a resposta pode estar tecnicamente correta e ainda assim inútil — porque resolveu o problema errado.

Sintoma: a resposta atende à letra da pergunta mas erra a intenção. Você lê e pensa "não é bem isso" sem conseguir apontar um erro factual.

Como pegar: este é o único padrão que se previne mais do que se detecta. Um pedido específico, com contexto, formato e restrições — como o módulo 2 já indicava — reduz drasticamente esse tipo de erro. Se a resposta erra a intenção com frequência, o problema geralmente está no pedido, não no modelo.

O que os cinco padrões têm em comum

Nenhum deles é aleatório. Cada um decorre diretamente do mecanismo do módulo 1: previsão de próximo token, sem verificação, condicionada inteiramente ao que está no contexto. Uma vez que você entende o mecanismo, os padrões de erro deixam de ser surpresa e viram algo que se antecipa.

Exercício

Escolha três respostas que você recebeu de uma IA nas últimas semanas — podem ser do trabalho ou de uso pessoal.

Para cada uma, pergunte: qual desses cinco padrões, se algum, está presente? Se nenhum se encaixar, ótimo — nem toda resposta ruim é um desses cinco. Se dois padrões parecerem presentes ao mesmo tempo, anote os dois: eles não se excluem.

O objetivo não é achar erro em tudo. É treinar o reconhecimento rápido — depois de algumas semanas fazendo esse exercício mentalmente, ele para de ser um passo extra e vira parte de como você lê qualquer resposta.

O que fica

• Alucinação por lacuna: dado específico não fornecido por você é suspeito por padrão.
• Confiança e acerto são desacoplados — não há sinal visual, só verificação estrutural.
• Deriva aparece em tarefas longas; releia o fim contra as instruções do início.
• Domínio estreito e recente reduz a cobertura do treino sem reduzir a fluência da resposta.
• Pedido mal formulado produz resposta tecnicamente certa e ainda assim inútil.

No próximo módulo: um método prático de verificação que cabe na rotina — porque saber onde a IA erra não ajuda se checar tudo do zero toma mais tempo do que fazer sem ela.