¿Qué modelos de Ollama admiten contexto de 128K?
Respuesta rápida
Llama 3.1 8B admite contexto de 128K en Ollama. Qwen3-30B-A3B, un modelo mixture-of-experts, alcanza 256K de contexto. Nota: ejecutar el contexto completo aumenta drásticamente la VRAM — una ventana de 128K necesita entre 3 y 4 veces más VRAM que la ventana predeterminada de 4K.
- ▸Llama 3.1 8B: contexto de 128K, ~16 GB de VRAM con contexto completo
- ▸Qwen3-30B-A3B: contexto de 256K, 24+ GB de VRAM con contexto completo
- ▸Establece --num-ctx 4096 para uso normal y ahorra VRAM
Puntos clave
- ✓La mayoría de los modelos 7B de Ollama anuncian contexto de 128K pero su calidad se degrada por encima de los 32K tokens
- ✓Llama 3.1 8B y Qwen3-30B-A3B son los dos modelos que ofrecen de forma fiable 128K+ de contexto en Ollama
- ✓Una ventana de contexto de 128K puede casi triplicar el uso de VRAM — un modelo 7B Q4 necesita ~15 GB con 128K frente a ~5,5 GB con el valor predeterminado
- ✓Establece <code>--num-ctx 4096</code> para tareas cotidianas; amplía el contexto solo cuando lo necesites
Qué modelos realmente alcanzan 128K
La mayoría de los modelos de Ollama anuncian contexto de 128K, pero pocos ofrecen una calidad de salida útil a esa longitud. El problema es el efecto "perdido en el medio": los modelos entrenados con longitudes típicas de documento tienen dificultades para atender información colocada profundamente en un contexto largo.
Dos modelos ofrecen de forma fiable 128K+ de contexto en Ollama: Llama 3.1 8B (entrenado de forma nativa a 128K) y Qwen3-30B-A3B (un modelo mixture-of-experts con una ventana de contexto de 256K en la biblioteca oficial de Ollama, que solo activa unos 3.000 millones de sus 30.000 millones de parámetros por token). Los tamaños densos más pequeños de Qwen3 usan por defecto una ventana de contexto de 40K en Ollama, y en la mayoría de los demás modelos de clase 7B, la calidad de salida también se degrada notablemente por encima de los 32K tokens.
Si tu tarea implica documentos de más de 20.000 palabras, empieza con Llama 3.1 8B. Si necesitas la ventana de contexto más grande y tienes 20 GB o más de VRAM, Qwen3-30B-A3B es la mejor opción.
📍 En una frase
Los dos modelos de Ollama que ofrecen de forma fiable 128K+ de contexto son Llama 3.1 8B (128K, entrenado de forma nativa) y Qwen3-30B-A3B (256K, mixture-of-experts).
💬 En términos simples
Llama 3.1 8B fue entrenado desde el principio para manejar 128K tokens de contexto, por lo que su calidad de salida se mantiene a esa longitud. Qwen3-30B-A3B es un modelo mixture-of-experts — solo activa unos 3.000 millones de sus 30.000 millones de parámetros por token — y Ollama lo lista con una ventana de contexto de 256K. La mayoría de los demás modelos de clase 7B anuncian 128K, pero su calidad de salida cae notablemente después de los 32K tokens.
El coste de VRAM del contexto largo
Ampliar la ventana de contexto aumenta el uso de VRAM de forma significativa. La KV-cache, que almacena el estado de atención para todos los tokens en contexto, puede añadir tanta VRAM como los propios pesos del modelo con contexto de 128K.
La tabla a continuación muestra cómo escala la VRAM de la KV-cache para un modelo 7B en Q4_K_M. Estas cifras asumen modelos que utilizan grouped query attention (GQA) — los modelos sin GQA usan significativamente más KV-cache.
Para ahorrar VRAM en tareas cotidianas, establece --num-ctx 4096 al ejecutar Ollama. Solo amplía a 32K o 128K cuando tu tarea específica lo requiera. Para la guía completa sobre LLM locales de contexto largo, incluyendo la selección de modelos y la división de RAM, consulta la guía de LLM locales de contexto largo.
| Longitud de contexto | KV-Cache (7B) | VRAM total (7B Q4) |
|---|---|---|
| 4K (predeterminado) | ~0,5 GB | ~5,5 GB |
| 16K | ~1,5 GB | ~6,5 GB |
| 32K | ~3 GB | ~8 GB |
| 128K | ~10 GB | ~15 GB |
Guías relacionadas
- ▸Guía de LLM locales de contexto largo -- selección de modelo y división de RAM
- ▸¿Se puede ejecutar Qwen 3 en Ollama? -- configuración y requisitos de VRAM
- ▸¿Qué modelos de Ollama son compatibles con visión? -- modelos multimodales en Ollama
Respuestas rápidas sobre los modelos de contexto largo
¿Cómo activo el contexto de 128K en Ollama?▾
--num-ctx 131072 a tu comando de ejecución: ollama run llama3.1:8b --num-ctx 131072. Sin esta opción, la especificación Modelfile de Ollama usa por defecto 2048 tokens, e incluso el valor predeterminado escalonado por VRAM (4K por debajo de 24 GiB, 32K entre 24 y 48 GiB, 256K por encima) puede quedarse corto frente a la capacidad máxima del modelo — configura num_ctx explícitamente para garantizarla.