Como escolher um modelo de IA

A pergunta que quase todo time faz primeiro é "qual é o melhor modelo?". É a pergunta errada, e ela custa caro. Modelos não são ordenados numa fila única do pior para o melhor — eles trocam capacidade por custo, velocidade e previsibilidade em proporções diferentes. A pergunta útil é outra: qual é o modelo mais barato que ainda resolve esta tarefa com confiabilidade suficiente?

Responder isso exige quatro decisões, nesta ordem.

1. Definir a tarefa antes do modelo

"Usar IA no atendimento" não é uma tarefa. "Classificar um e-mail recebido em uma de sete categorias e extrair o número do pedido" é.

Tarefas bem definidas têm três propriedades: uma entrada previsível, uma saída em formato fechado e um critério objetivo de acerto. Enquanto a tarefa não tiver isso, nenhuma comparação entre modelos significa alguma coisa, porque não existe forma de dizer qual deles ganhou.

Comece escrevendo de vinte a cinquenta exemplos reais da sua operação, com a resposta que você consideraria correta em cada um. Esse conjunto vale mais do que qualquer ranking público.

2. Separar tarefas de reconhecimento de tarefas de raciocínio

É uma divisão grosseira, mas ela orienta bem a primeira escolha.

Tarefas de reconhecimento — classificar, extrair, reformatar, resumir, traduzir, revisar — dependem principalmente de o modelo entender bem o texto. Modelos menores e mais rápidos costumam resolvê-las com qualidade próxima à dos maiores, por uma fração do custo e da latência.

Tarefas de raciocínio — planejar várias etapas, decidir entre alternativas com trade-offs, escrever código não trivial, encontrar a inconsistência escondida em um documento longo — é onde a diferença entre modelos aparece de verdade, e onde pagar mais normalmente se justifica.

Um erro comum é usar o modelo mais caro em todo o fluxo porque uma das etapas é difícil. Quase sempre vale quebrar o fluxo e usar modelos diferentes em cada etapa.

3. Medir quatro eixos, não um

Para cada candidato, meça sobre o seu conjunto de exemplos:

• Acerto. Percentual de saídas aceitáveis. Aceitável definido por você, antes do teste, não depois.
• Custo por execução. Não o preço por milhão de tokens: o custo real de uma execução típica, multiplicado pelo volume mensal esperado.
• Latência. Importa muito quando existe alguém esperando na tela e quase nada quando o processo roda em lote de madrugada.
• Variância. Rode o mesmo exemplo várias vezes. Um modelo que acerta 95% mas erra de formas imprevisíveis pode ser pior, em produção, do que um que acerta 90% e erra sempre do mesmo jeito — porque o segundo você consegue tratar.

Variância é o eixo mais ignorado e o que mais derruba projeto em produção.

4. Tratar restrições como filtro, não como critério

Algumas exigências eliminam candidatos antes de qualquer comparação de qualidade: onde os dados podem trafegar e ser processados, se há exigência de residência de dados, se o fornecedor pode treinar com o que você envia, quais garantias contratuais existem, se você precisa rodar em infraestrutura própria.

Aplique esses filtros primeiro. Comparar qualidade entre modelos que você não pode usar é tempo perdido.

O que fazer na prática

1. Escreva a tarefa em uma frase, com entrada e saída explícitas.
2. Monte de vinte a cinquenta exemplos reais com a resposta esperada.
3. Elimine modelos que não passam nas restrições de dados e contrato.
4. Teste do mais barato para o mais caro e pare no primeiro que atinge o seu critério.
5. Registre o resultado com data. Modelos e preços mudam; sua medição vira base de comparação para a próxima rodada.

O último ponto é o que separa quem escolhe uma vez de quem consegue reavaliar. Como o mercado se move rápido, o ativo durável não é o modelo escolhido hoje — é o conjunto de exemplos e o critério de aceitação que permitem repetir a escolha em uma tarde.

Continue no iLumera LearnFundamentos de IA · Tokens, contexto e custo

O "custo por execução" que este artigo menciona de passagem é o assunto inteiro dessa aula — de onde vem o preço, por que ele varia tanto entre tarefas, e como uma escolha de modelo barata pode sair mais cara na prática.

• modelos
• custo
• avaliação