Respuestas rápidas a preguntas sobre LLM locales

4 GB de VRAM soporta Phi-4 Mini y Gemma 2B cómodamente con margen para expansión de contexto.

Q4_K_M significa cuantización de 4 bits con compresión k-quant (K) a calidad media (M).

Usa Q4_K_M con 8 GB de VRAM o menos.

Con 12 GB de VRAM, el mejor modelo de uso general es Llama 3 8B en Q5_K_M, entregando 20–30 tokens por segundo con calidad equilibrada.

4 GB de VRAM es ajustado pero utilizable con modelos pequeños como Phi-4 Mini Q4 (~3,2 GB), Gemma 2 2B (~1,5 GB) y SmolLM 1.7B (~1,0 GB).

Un modelo 7B en cuantización Q4 necesita 5–6 GB de VRAM o RAM para un rendimiento de inferencia eficiente.

Un modelo 70B en Q4_K_M necesita aproximadamente 40 GB de VRAM.

Con 6 GB de VRAM, Llama 3 8B Q4_K_M es la mejor opción con ~5,5 GB, con excelentes capacidades de chat y programación a ~20 tok/s.

Q4_K_M es el punto óptimo — los modelos 7B/8B en Q4_K_M usan 4,7–4,9 GB, dejando 1,1 GB para la caché KV.

Comprueba ollama.com o la página de lanzamientos de GitHub de Ollama para la versión actual.

A mayo de 2026, el mejor modelo general de Ollama es Llama 3 8B.

Sin GPU, Phi-4 Mini en Q4 ofrece el mejor equilibrio entre calidad y velocidad en CPU.

Sí — Ollama admite todos los tamaños de modelos Qwen 3 desde 0.6B hasta 72B.

Ollama admite varios modelos de visión: LLaVA, Gemma 3 multimodal y Qwen-VL.

Llama 3.1 8B admite contexto de 128K en Ollama.

Qwen 2.5 Coder gana en Python y TypeScript.

Si usas terminal y desarrollas con APIs, elige Ollama.

Jan es completamente código abierto con un sistema de extensiones.

Las mejores apps Android para ejecutar LLMs localmente son MLC Chat para configuración fácil con modelos preoptimizados, Pocketpal para carga flexible de GGUF, y Termux con Ollama para control total.

Open WebUI es el mejor frontend para Ollama para la mayoría de usuarios, ofreciendo acceso gratuito a una interfaz rica en características con despliegue Docker y soporte RAG.

En Apple Silicon, usa MLX — ejecuta ~65 tok/s versus ~35 tok/s para Ollama en un M5 Pro con un modelo 8B.

No puedes convertir directamente modelos de Ollama a MLX.

No.

Llama 3 8B cabe en 6 GB de VRAM y es más rápido.

Qwen 2.5 Coder 14B es el mejor modelo de coding 14B para uso local, con 78.4% en HumanEval y 10 GB de VRAM en cuantización Q4_K_M.

Tres mini PCs destacan para inferencia local de LLMs: Mac Mini M4 entrega ~18 tok/s con memoria unificada y sin cuello de botella de VRAM, Minisforum UM790 Pro escala a 64 GB DDR5 para modelos más grandes, y Beelink SER8 ofrece buena relación calidad-precio con ~8 tok/s y Ryzen 9 8845HS.

Mixtral 8x7B y DeepSeek V2 son los mejores modelos MoE de coding para uso local, activando solo una fracción de los parámetros totales por token para ofrecer mejor calidad por VRAM que los modelos densos.

Elige según el VRAM: Llama 3.1 8B (4.9 GB), Qwen 2.5 14B (9.3 GB), Mistral Small 3.1 24B (14.4 GB).

Qwen 2.5 Coder 14B Q4_K_M es el mejor modelo de programación para GPUs con 12 GB de VRAM como la RTX 3060.

Con una RTX 3070 Ti (8 GB VRAM), Llama 3 8B Q4_K_M y Mistral 7B Q5_K_M son los mejores LLMs locales.

Sí.

La RTX 3060 12 GB usada a $150-220 es la mejor GPU por menos de $300 para LLMs locales — 12 GB de VRAM ejecuta todos los modelos 7B y la mayoría de los 14B.

RTX 4060 Ti 16 GB a ~$424 es el punto óptimo — 16 GB de VRAM maneja modelos 14B con cuantización Q5 con margen de sobra.

Samsung 990 Pro 2 TB a 7.450 MB/s carga un modelo 7B Q4 en menos de 2 segundos.

Sí — el Mac Mini M4 Pro con 24 GB de memoria unificada ejecuta Llama 3 8B a ~36 tok/s vía MLX.

Vast.ai es más barato para instancias spot (RTX 4090 a ~$0.15/hr vs RunPod ~$0.44/hr).

RTX 4090: $0.15-0.44/h.

Sí — Ryzen AI Max (Strix Halo, RDNA 3.5) ejecuta Ollama vía Vulkan en Linux.

Sí — pero solo para conjuntos pequeños de documentos personales con Llama 3.2 1B (~750 MB), embeddings MiniLM-L6-v2 (~80 MB) y un vector store en memoria que suman ~1.3–1.5 GB en un dispositivo de 2 GB.

Llama 3 8B Q4_K_M es el mejor LLM local para un laptop con 16 GB de RAM sin GPU dedicada, usando ~5 GB de RAM y corriendo a ~5 tok/s en CPUs modernas.

CO-STAR es una estructura de prompt de 6 partes para outputs consistentes de LLM: Context (contexto), Objective (objetivo), Style (estilo de escritura), Tone (tono emocional), Audience (audiencia), Response (formato de respuesta).

Para tareas de programación en cloud, Claude Opus 4.7 logra 87.6% en SWE-Bench, mientras GPT-5.5 Instant lidera chat general con 52.5% menos alucinaciones.

Qwen ejecutado localmente en tu propio hardware es compatible con el RGPD, porque ningún dato de prompt abandona tu infraestructura y no ocurre ninguna transferencia a terceros países según el Artículo 44.

La API de DeepSeek presenta el mayor riesgo para el RGPD entre los principales LLMs, porque los servidores están sujetos a la ley china de acceso a datos (PIPL), no existe una decisión de adecuación de la UE para China, y los Términos de Servicio se reservan explícitamente el derecho a compartir datos con las autoridades chinas.

Sí — ejecutar un modelo de código abierto localmente elimina la transferencia de datos a terceros países del Artículo 44 que hace legalmente complejo el uso de IA en la nube bajo el RGPD, lo que significa que tus prompts y respuestas nunca salen de tu servidor.

ProtonVPN (Suiza, plan gratuito) para privacidad auditada.