Cómo ejecutar Qwen 3 localmente en 2026: Guía de configuración Ollama + LM Studio

Por qué ejecutar Qwen localmente en 2026

Elige tu modelo Qwen

Requisitos de hardware

• Mínimo (Qwen 3.6 27B): GPU con 16 GB VRAM — RTX 4080, RTX 4070 Ti Super o RTX 3090
• GPU recomendada: RTX 4090 (24 GB VRAM) — ejecuta Q4_K_M a 35 tokens/seg con 8 GB de margen
• Apple Silicon M3/M4 (actual): M3 Max o M4 Pro con 48 GB de memoria unificada — silencioso, eficiente en energía, 40+ tokens/seg vía MLX
• Mac Mini M4 Pro (48 GB): ~€1,599 en tienda, factor de forma compacto, mejor TCO para despliegue en oficinas de la UE
• Apple Silicon M5 Pro (64 GB): próxima generación, 307 GB/s de ancho de banda de memoria — ejecuta Qwen 3.6 27B a un estimado de 50+ tokens/seg. Apple afirma un procesamiento de prompts LLM 4× más rápido que M4.
• Apple Silicon M5 Max (128 GB): 460–614 GB/s de ancho de banda de memoria — ejecuta Qwen 3 72B Q4_K_M cómodamente con margen. Esperado a mediados de 2026 en Mac Studio; el Mac Mini actual viene con M4 Pro.
• RAM: mínimo 32 GB de RAM del sistema junto a la inferencia GPU; 64 GB recomendados junto a un entorno de desarrollo completo
• Almacenamiento: 20 GB de espacio libre en disco para Qwen 3.6 27B Q4_K_M (archivo GGUF ~17 GB)

Configuración con Ollama

1. 1
   Instalar Ollama
   Why it matters: Ollama gestiona las descargas de modelos, el formato GGUF y proporciona una API local compatible con OpenAI.
2. 2
   Descargar el modelo Qwen 3.6 27B con etiqueta explícita
   Why it matters: Usa qwen3:27b de forma explícita. La etiqueta simple `qwen3` descarga por defecto el modelo 8B — no el modelo 27B al que apunta esta guía.
3. 3
   Crear un Modelfile con la longitud de contexto correcta
   Why it matters: El num_ctx predeterminado de 2048 tokens es demasiado pequeño para tareas reales de programación. 32768 tokens maneja la mayoría de archivos y conversaciones.
4. 4
   Construir el modelo personalizado y ejecutarlo
   Why it matters: Crea una instancia de Qwen 3.6 27B con la ventana de contexto extendida. Verifica con un prompt de prueba.
5. 5
   Probar el endpoint de la API
   Why it matters: Ollama expone una API compatible con OpenAI en localhost:11434/v1. Usa este endpoint para conectar clientes LLM, IDEs y PromptQuorum.

# Step 1 — Install Ollama
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download

# Step 2 — Pull Qwen 3.6 27B (explicit tag required)
ollama pull qwen3:27b
# Downloads Qwen 3.6 27B Q4_K_M (~17 GB)
# Note: 'ollama pull qwen3' without a tag downloads the 8B model

# Step 3 — Create Modelfile with correct num_ctx
cat > Modelfile <<'EOF'
FROM qwen3:27b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
EOF

# Step 4 — Build and run
ollama create qwen3-32k -f Modelfile
ollama run qwen3-32k

# Expected output (Qwen working correctly):
# >>> Write a Python function to reverse a string.
# def reverse_string(s: str) -> str:
#     return s[::-1]
#
# This function takes a string s as input and returns the reversed
# string using Python slice notation with step -1.

# Step 5 — Test API
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-32k",
    "messages": [{"role": "user", "content": "Write a Python function to reverse a string."}]
  }'

Configuración con LM Studio

1. 1
   Descargar e instalar LM Studio
   Why it matters: GUI gratuita y multiplataforma para inferencia LLM local. No se requiere CLI.
2. 2
   Buscar y descargar Qwen 3 27B
   Why it matters: El navegador de modelos de LM Studio busca en Hugging Face. Busca "Qwen 3 27B" y selecciona la variante GGUF Q4_K_M para 16 GB VRAM.
3. 3
   Configurar la longitud de contexto en los ajustes de LM Studio
   Why it matters: El mismo problema de num_ctx que en Ollama — cambia la longitud de contexto a 32768 en los parámetros del modelo antes de cargarlo.
4. 4
   Iniciar el servidor local
   Why it matters: El botón "Iniciar servidor" de LM Studio crea una API compatible con OpenAI en localhost:1234. Usa esta URL en clientes y PromptQuorum.
5. 5
   Instalar Claude Code (opcional)
   Why it matters: Claude Code es el CLI de Anthropic para ejecutar Claude localmente. Descárgalo desde https://claude.com/claude-code (todas las plataformas: macOS, Windows, Linux).
6. 6
   Instalar el proxy de Claude Code
   Why it matters: El proxy gratuito de Claude Code (basado en OpenClaw) conecta Claude Code con LLMs locales. Ejecuta: `uv run python -m uvicorn server:app --host 0.0.0.0 --port 8082`. En Windows, inicia con: `uv run python -m uvicorn server:app --host 0.0.0.0 --port 8082`.
7. 7
   Configurar Claude Code para usar Qwen local
   Why it matters: En los ajustes de Claude Code, establece el endpoint de API en http://localhost:8082. Claude Code enrutará las solicitudes a través del proxy a tu instancia de LM Studio (localhost:1234), permitiéndote usar Qwen 3.6 27B como asistente de programación.

// LM Studio local server config (exported JSON)
{
  "model": "qwen3-27b-q4_k_m",
  "server": {
    "host": "localhost",
    "port": 1234,
    "cors": true
  },
  "inference": {
    "context_length": 32768,
    "temperature": 0.7,
    "gpu_layers": -1
  }
}

Conexión a PromptQuorum

# PromptQuorum dispatch config — local Qwen via Ollama
# Set in your .env or PromptQuorum settings panel

OLLAMA_BASE_URL=http://localhost:11434/v1
LOCAL_LLM_MODEL=qwen3:27b

# Example routing rules (PromptQuorum dispatch):
# - task_type: code       → model: qwen3:27b  (local Ollama, GDPR-safe)
# - task_type: analysis   → model: claude-sonnet-4-6 (Anthropic API, separate config)
# - task_type: private    → model: qwen3:27b  (local Ollama, no cloud egress)

Solución de problemas

• La respuesta del modelo se corta a mitad de frase: num_ctx es demasiado bajo. Reconstruye tu Modelfile con `PARAMETER num_ctx 32768` y vuelve a crear el modelo con `ollama create`.
• Error CUDA out of memory: el modelo no cabe en tu VRAM. Cambia a Qwen 3 14B Q4_K_M (~9 GB VRAM) o prueba una cuantización Q3_K_S del 27B.
• La API de Ollama devuelve 404: confirma que el nombre del modelo coincide exactamente. Ejecuta `ollama list` para ver los modelos disponibles. Usa el nombre exacto mostrado (por ejemplo, `qwen3-32k`).
• Generación lenta (< 5 tokens/seg): capas de GPU no completamente descargadas. Ejecuta `ollama run qwen3-32k` y verifica que `num_gpu_layers` esté maximizado. Asegúrate de que ningún otro proceso intensivo en GPU esté corriendo.
• LM Studio muestra "error al cargar el modelo": VRAM insuficiente. Reduce la longitud de contexto Q4_K_M a 16384 o cambia a Qwen 3 14B.
• PromptQuorum devuelve error de autenticación: establece `OLLAMA_BASE_URL=http://localhost:11434/v1` en los ajustes de LLM local de PromptQuorum. Si el formulario requiere una clave, introduce cualquier cadena no vacía — Ollama no requiere autenticación por clave de API.
• Ollama usa CPU en lugar de GPU: en NVIDIA: confirma que los drivers CUDA están instalados (`nvidia-smi` debe mostrar la GPU). En Mac: Ollama usa Metal automáticamente — no se necesita configuración. Si Metal no está activo, reinstala Ollama desde ollama.com.
• La descarga del modelo se detiene o falla: los modelos grandes (Qwen 3.6 27B ~17 GB) pueden agotar el tiempo de espera en conexiones lentas. Ejecuta `ollama pull qwen3:27b` de nuevo — Ollama reanuda desde donde se detuvo. Alternativamente, descarga el GGUF directamente desde Hugging Face y usa `ollama create` con una ruta local en la cláusula FROM del Modelfile.

Consumo eléctrico y TCO

Lectura relacionada

• Qwen 3 vs Claude Sonnet 4.6 vs DeepSeek R2 — Comparativa 2026
• Por qué las empresas de la UE están cambiando a Qwen local
• Qwen Coder vs DeepSeek vs Mistral — Benchmark de programación 2026
• Local AI Production Deployment: Building a Privacy-First Customer Service Agent — Estudio de caso de Rob Braxman sobre compensaciones de hardware, gestión de memoria y rendimiento en producción para agentes de IA autoalojados.
• Ver todas las guías de LLM local
• Unirse a la lista de espera de PromptQuorum

Preguntas frecuentes