O que é contexto em modelos de linguagem

Poucos conceitos causam tanta confusão prática quanto contexto. Ele aparece em toda especificação técnica, aparece na conta que você paga, e quase sempre é entendido como algo que não é.

Memória de trabalho, não conhecimento

Um modelo de linguagem tem duas fontes de informação, e elas funcionam de formas completamente diferentes.

A primeira é o que ficou nos pesos durante o treinamento. É difuso, não tem endereço, não pode ser editado e tem uma data de corte. O modelo não "consulta" esse conhecimento — ele o reflete estatisticamente na geração.

A segunda é a janela de contexto: tudo que você coloca na entrada agora. Instrução, documentos colados, histórico da conversa, resultados de ferramentas. É o que o modelo tem diante dos olhos enquanto responde.

A analogia que funciona: os pesos são o que a pessoa aprendeu ao longo da vida; o contexto é o que está em cima da mesa dela neste momento. Quando você precisa de precisão sobre algo específico — a política interna da sua empresa, o contrato deste cliente, o estado atual do sistema —, isso tem que estar em cima da mesa. Esperar que esteja na memória é a origem mais comum de resposta inventada com tom confiante.

Contexto é finito e caro

A janela tem um teto, medido em tokens. Um token é aproximadamente um pedaço de palavra: um texto em português consome, na média, algo em torno de um token a cada três ou quatro caracteres.

Duas consequências práticas:

Você paga pelo que entra. O custo de uma chamada é dominado pela entrada quando você cola documentos longos. Enviar um manual de duzentas páginas para responder uma pergunta é caro e, o que é pior, costuma ser contraproducente.

A conversa cresce sozinha. Num chat, todo o histórico é reenviado a cada mensagem. Uma conversa longa fica progressivamente mais lenta e mais cara — e, ao encostar no teto, o começo é descartado. O modelo não avisa que esqueceu; ele simplesmente responde sem aquilo.

Janela grande não é o mesmo que atenção boa

Modelos com janelas muito grandes criam uma expectativa enganosa. Caber não é a mesma coisa que usar bem.

Na prática, informação enterrada no meio de uma entrada muito longa tende a receber menos peso do que informação no começo ou no fim. Um documento de cem páginas colado inteiro produz respostas piores do que os três parágrafos relevantes daquele documento — mesmo quando tudo cabe confortavelmente na janela.

O bom uso de contexto é seletivo, não exaustivo. Selecionar o trecho certo é trabalho de recuperação de informação, e é por isso que buscar antes de responder costuma render mais do que aumentar a janela.

O que fazer com isso

• Coloque no contexto o que precisa ser exato. Não conte com a memória do modelo para dados específicos, internos ou recentes.
• Prefira trechos relevantes a documentos inteiros. Menos entrada bem escolhida vence mais entrada mal escolhida.
• Em conversas longas, recomece com um resumo do que importa em vez de arrastar todo o histórico.
• Coloque a instrução mais importante no fim da entrada, depois do material. É a posição com maior chance de ser respeitada.
• Se a resposta precisa citar fonte, a fonte precisa estar no contexto. Referência gerada de memória não é verificável.

Contexto é o principal instrumento de controle que você tem sobre a saída — mais do que a escolha do modelo, na maioria das tarefas do dia a dia. Tratar isso como decisão de engenharia, e não como detalhe de configuração, é o que faz a diferença entre um sistema que funciona e um que impressiona na demonstração.

Continue no iLumera LearnFundamentos de IA · Tokens, contexto e custo

Este artigo cobriu o conceito. A aula vai além: mostra por que uma conversa longa fica mais cara sozinha, e traz um exercício para você aplicar isso numa conversa sua desta semana.

• modelos
• contexto
• fundamentos