Janelas de contexto explicadas: Por que a IA esquece (e o que fazer)

Os LLMs não têm memória de longo prazo — eles apenas "enxergam" uma janela deslizante de tokens recentes, e tudo fora dessa janela é esquecido ou comprimido. Este artigo explica o que isso significa para seus prompts e como trabalhar dentro (e ao redor) desses limites.

Uma context window é a quantidade máxima de texto (medida em tokens) que um LLM pode considerar ao gerar sua próxima saída.

Pense nisso como o "texto visível" do modelo em qualquer momento. Quando você envia uma mensagem ao GPT-4o com uma context window de 128k tokens, o modelo pode "ver" os últimos 128.000 tokens da conversa — aproximadamente 96.000 palavras. Qualquer coisa anterior é invisível para o modelo e não influencia sua resposta.

Tokens vs. palavras: Um token não é uma palavra. Em média, um token ≈ 4 caracteres ou cerca de 0,75 palavras. Portanto, uma context window de 4.000 tokens ≈ 3.000 palavras de texto simples em inglês. Para código denso ou idiomas como o japonês, a proporção é diferente — o texto japonês requer aproximadamente 2 tokens por palavra devido à codificação de caracteres.

Os tamanhos de context window variam amplamente entre os modelos:

O princípio é idêntico em todos os modelos: tudo fora da janela é invisível.

Quando o total de tokens em uma conversa (prompt do sistema + histórico do chat + entrada do usuário + ferramentas + saída esperada) excede a context window, as partes mais antigas são truncadas, resumidas ou completamente removidas.

Isso não é perda de memória como o esquecimento humano. O modelo não "pensa e depois esquece." Ele literalmente não vê o texto truncado — ele não existe mais no espaço de entrada do modelo.

Sintomas comuns ao atingir o limite de contexto:

A maioria das interfaces de chat usa uma dessas estratégias:

Todos esses métodos preservam a "essência", mas perdem detalhes específicos. Quando o modelo não vê mais a instrução original, não consegue segui-la.

A sobrecarga de contexto amplifica as alucinações porque o modelo preenche as lacunas com suposições plausíveis quando a informação original não está mais visível.

Veja o padrão: você pede à IA que faça referência a algo que você mencionou há 50 mensagens. Mas essa mensagem já saiu da context window. O modelo não tem acesso ao fato real, então gera uma resposta que parece plausível com base no que infere do contexto atual. Resultado: fabricação.

É por isso que chats longos com muito contexto frequentemente produzem mais alucinações do que trocas curtas e focadas. O modelo não está perdendo sua capacidade de raciocínio — está trabalhando com informações incompletas.

A interação é direta: Menos contexto → falta de ancoragem → maior risco de alucinação.

Esse efeito se combina com configurações mais altas de temperature e top-p, que já aumentam a aleatoriedade. Consulte Temperature and Top-P: Control AI Creativity para entender como o ajuste de parâmetros interage com as alucinações.

Estruturar seus prompts de forma estratégica permite alcançar mais dentro de um orçamento de contexto fixo.

Coloque as instruções críticas no início. Coloque suas restrições, regras e definições mais importantes no prompt do sistema ou na primeira mensagem do usuário. Elas têm menos chance de sair do contexto do que instruções enterradas 20 rodadas depois.

Evite repetição. Se você já explicou algo uma vez, não cole novamente. Em vez disso, faça referência: "Como discutimos no resumo acima…" Isso economiza tokens.

Resuma explicitamente. Peça ao modelo que resuma as principais decisões, restrições ou fatos até o momento. Em seguida, construa a próxima resposta a partir desse resumo em vez de depender do contexto anterior disperso.

Mantenha as rodadas focadas. Um monólogo longo com múltiplos tópicos usa o contexto de forma ineficiente. Divida em trocas separadas e de escopo restrito.

Colar livros inteiros ou PDFs de centenas de páginas em uma única context window é ineficiente, mesmo para a janela de 2M tokens do Gemini 3.1 Pro, porque o modelo não consegue focar efetivamente em múltiplas seções díspares simultaneamente.

Um livro de 1.000 páginas ≈ 250.000 tokens. Tecnicamente, o Gemini 3.1 Pro consegue ingeri-lo. Na prática, o raciocínio do modelo se deteriora quando é solicitado a responder perguntas em seções muito diferentes — é como pedir a uma pessoa que leia um romance inteiro de uma só vez e depois se lembre de detalhes específicos das páginas 50, 200 e 400. A memória fica vaga.

Abordagens melhores para documentos longos:

Trabalhar perto dos limites de contexto é difícil porque cada modelo tem diferentes limites, comportamento de truncamento, preços e (para LLMs locais) requisitos de VRAM. O PromptQuorum torna essas restrições transparentes: antes de enviar, você pode ver quanto contexto cada modelo consome e quando um estouro é provável.

Quando você executa um modelo no LM Studio ou Ollama, pode configurar o tamanho da context window. Por padrão, as ferramentas frequentemente a definem para o máximo do modelo (por exemplo, 32k para um modelo 7B). Mas isso raramente é o que você precisa.

O PromptQuorum integra-se ao LM Studio e permite ajustar a context window por tarefa: escolha 4k para perguntas e respostas rápidas e leves; escolha 32k para análise aprofundada de documentos; escolha 64k para conversas longas. Isso torna o equilíbrio explícito em vez de oculto em arquivos de configuração.

O PromptQuorum verifica *antes* de você enviar: dado o prompt do sistema + histórico de conversa atual + sua nova entrada + comprimento de saída esperado, isso cabe na context window configurada para cada modelo?

Se o estouro for provável, o PromptQuorum avisa ou pede que você corte ou resuma a conversa antes de enviar. Chega de truncamentos surpresa. Chega de adivinhar por que a IA "esqueceu."

Para modelos locais, context windows maiores exigem consideravelmente mais VRAM. Um modelo 7B em quantização Q4_K_M precisa de ~5 GB a 4k de contexto, ~8–10 GB a 32k e ~12–14 GB a 128k. Se a VRAM disponível for excedida, a GPU trava ou reverte para inferência por CPU (10–100× mais lenta).

O PromptQuorum mostra essa relação: "Este tamanho de context window usará ~12–14 GB de VRAM no seu hardware. Você tem 8 GB disponíveis." Assim, você pode dimensionar adequadamente a context window para sua tarefa e hardware, em vez de descobrir travamentos durante a inferência.

Para os modelos com as context windows mais longas disponíveis para implantação local — incluindo requisitos de hardware — consulte LLMs locais de contexto longo.

Quando você envia um prompt ao GPT-4o (janela de 128k), Claude (janela de 200k) e um modelo 7B local (sua janela escolhida de 32k), o PromptQuorum mantém automaticamente seu prompt dentro dos três limites. Um prompt, vários modelos, sem reescrita manual.

Receita 1: Chat longo sobre um projeto — Manter uma conversa com múltiplas rodadas sobre um único projeto sem perder as decisões anteriores.

Receita 2: Análise de um relatório longo — Extrair informações de um documento de 50–100 páginas.

Receita 3: Prompting no limite da context window — Usar quase toda a context window sem estouro.

Receita 4: LLM local com VRAM limitada — Executar um modelo local de forma eficaz sem travamentos.