Context windows explicadas: Por qué la IA olvida (y qué hacer al respecto)

Los LLM no tienen memoria a largo plazo — solo "ven" una ventana deslizante de tokens recientes, y todo lo que está fuera de esa ventana se olvida o se comprime. Este artículo explica qué significa eso para tus prompts y cómo trabajar dentro de (y alrededor de) estos límites.

Una context window es la cantidad máxima de texto (medida en tokens) que un LLM puede tener en cuenta al generar su próxima salida.

Piénsala como el "texto visible" del modelo en cualquier momento dado. Cuando envías un mensaje a GPT-4o con una context window de 128k tokens, el modelo puede "ver" los últimos 128.000 tokens de la conversación — aproximadamente 96.000 palabras. Todo lo anterior es invisible para el modelo y no influye en su respuesta.

Tokens vs. palabras: Un token no es una palabra. En promedio, un token ≈ 4 caracteres o aproximadamente 0,75 palabras. Por lo tanto, una context window de 4.000 tokens ≈ 3.000 palabras de texto en inglés plano. Para código denso o idiomas como el japonés, la proporción es diferente — el texto japonés requiere aproximadamente 2 tokens por palabra debido a la codificación de caracteres.

Los tamaños de context window varían ampliamente entre los modelos:

El principio es idéntico en todos los modelos: todo lo que está fuera de la ventana no es visible.

Cuando el total de tokens en una conversación (prompt del sistema + historial de chat + entrada del usuario + herramientas + salida esperada) supera la context window, las partes más antiguas se truncan, se resumen o se eliminan por completo.

Esto no es una pérdida de memoria como el olvido humano. El modelo no "piensa y luego olvida." Literalmente no ve el texto truncado — ya no existe en el espacio de entrada del modelo.

Síntomas comunes al alcanzar el límite de contexto:

La mayoría de las interfaces de chat utilizan una de estas estrategias:

Todos estos métodos preservan la "esencia" pero pierden detalles específicos. Cuando el modelo ya no ve la instrucción original, no puede seguirla.

La sobrecarga de contexto amplifica las alucinaciones porque el modelo llena los vacíos con suposiciones plausibles cuando la información original ya no es visible.

Así es el patrón: le pides a la IA que haga referencia a algo que mencionaste hace 50 mensajes. Pero ese mensaje ha rotado fuera de la context window. El modelo no tiene acceso al hecho real, por lo que genera una respuesta que suena plausible basándose en lo que infiere del contexto actual. Resultado: fabricación.

Por eso los chats largos con mucho contexto a menudo producen más alucinaciones que los intercambios cortos y enfocados. El modelo no está perdiendo su capacidad de razonamiento — está trabajando con información incompleta.

La interacción es directa: Menos contexto → falta de anclaje → mayor riesgo de alucinación.

Este efecto se combina con configuraciones más altas de temperature y top-p, que ya aumentan la aleatoriedad. Consulta Temperature and Top-P: Control AI Creativity para entender cómo el ajuste de parámetros interactúa con las alucinaciones.

Estructurar tus prompts de forma estratégica te permite lograr más dentro de un presupuesto de contexto fijo.

Coloca las instrucciones críticas al principio. Pon tus restricciones, reglas y definiciones más importantes en el prompt del sistema o en el primer mensaje del usuario. Estas tienen menos probabilidad de caer fuera del contexto que las instrucciones enterradas 20 turnos después.

Evita la repetición. Si ya has explicado algo una vez, no lo pegues de nuevo. En su lugar, haz referencia a ello: "Como discutimos en el resumen anterior…" Esto ahorra tokens.

Resume explícitamente. Pide al modelo que resuma las decisiones, restricciones o hechos clave hasta el momento. Luego construye la siguiente respuesta a partir de ese resumen en lugar de depender del contexto anterior disperso.

Mantén los turnos enfocados. Un monólogo único con múltiples temas usa el contexto de forma ineficiente. Divídelo en intercambios separados y con alcance reducido.

Pegar libros enteros o PDFs de cientos de páginas en una sola context window es ineficiente, incluso para la ventana de 2M tokens de Gemini 3.1 Pro, porque el modelo no puede enfocarse eficazmente en múltiples secciones dispares simultáneamente.

Un libro de 1.000 páginas ≈ 250.000 tokens. Técnicamente, Gemini 3.1 Pro puede ingerirlo. En la práctica, el razonamiento del modelo se degrada cuando se le pide que responda preguntas en secciones muy diferentes — es como pedirle a una persona que lea una novela completa de una sola vez y luego recuerde detalles específicos de las páginas 50, 200 y 400. El recuerdo se vuelve difuso.

Mejores enfoques para documentos largos:

Trabajar cerca de los límites de contexto es difícil porque cada modelo tiene diferentes límites, comportamiento de truncación, precios y (para los LLM locales) requisitos de VRAM. PromptQuorum hace que estas restricciones sean transparentes: antes de enviar, puedes ver cuánto contexto consume cada modelo y cuándo es probable que haya un desbordamiento.

Cuando ejecutas un modelo en LM Studio o Ollama, puedes configurar el tamaño de la context window. Por defecto, las herramientas suelen establecerla al máximo del modelo (por ejemplo, 32k para un modelo 7B). Pero eso rara vez es lo que necesitas.

PromptQuorum se integra con LM Studio y te permite ajustar la context window por tarea: elige 4k para preguntas y respuestas ligeras y rápidas; elige 32k para análisis profundo de documentos; elige 64k para conversaciones largas. Esto hace que el compromiso sea explícito en lugar de estar oculto en archivos de configuración.

PromptQuorum verifica *antes* de que envíes: dado el prompt del sistema + el historial de conversación actual + tu nueva entrada + la longitud de salida esperada, ¿encaja en la context window configurada para cada modelo?

Si el desbordamiento es probable, PromptQuorum te avisa o te pide que recortes o resumas la conversación antes de enviar. No más truncaciones sorpresa. No más adivinanzas sobre por qué la IA "olvidó."

Para los modelos locales, las context windows más grandes requieren considerablemente más VRAM. Un modelo 7B en cuantización Q4_K_M necesita ~5 GB a 4k de contexto, ~8–10 GB a 32k y ~12–14 GB a 128k. Si se supera la VRAM disponible, la GPU falla o revierte a la inferencia por CPU (10–100× más lenta).

PromptQuorum te muestra esta relación: "Este tamaño de context window usará ~12–14 GB de VRAM en tu hardware. Tienes 8 GB disponibles." Así puedes ajustar correctamente la context window para tu tarea y hardware, en lugar de descubrir los fallos durante la inferencia.

Para los modelos con las context windows disponibles más largas para despliegue local — incluidos los requisitos de hardware — consulta LLM locales de contexto largo.

Cuando envías un prompt a GPT-4o (ventana de 128k), Claude (ventana de 200k) y un modelo 7B local (tu ventana elegida de 32k), PromptQuorum mantiene automáticamente tu prompt dentro de los tres límites. Un prompt, varios modelos, sin reescritura manual.

Receta 1: Chat largo sobre un proyecto — Mantener una conversación de múltiples turnos sobre un único proyecto sin perder las decisiones anteriores.

Receta 2: Análisis de un informe largo — Extraer información de un documento de 50–100 páginas.

Receta 3: Prompting en el límite de la context window — Usar casi toda la context window sin desbordamiento.

Receta 4: LLM local con VRAM limitada — Ejecutar un modelo local eficazmente sin fallos.