Hardware para LLMs Locales 2026: GPU vs Mini PC vs Mac Comparado

Elegir una GPU depende de tu presupuesto y el tamaño del modelo que quieres ejecutar. Las series NVIDIA RTX 40 (4060, 4070 Ti, 4090) y RTX 50 (5060 Ti, 5080) dominan para LLMs locales en 2026. Aquí están las mejores recomendaciones por caso de uso:

Los requisitos de VRAM dependen de tres factores: tamaño del modelo (parámetros), cuantización (bits por peso) y modo de inferencia. Usa esta fórmula para determinar si tu GPU tiene suficiente memoria. Para una calculadora interactiva, consulta la calculadora de VRAM para LLMs locales.

Fórmula:

```text VRAM (GB) = (Tamaño del modelo × Bits de cuantización) ÷ 8 ```

Valores de cuantización: FP16 = 16 bits, Q8_0 = 8 bits, Q5_K_M = 5 bits, Q4_K_M = 4 bits. El punto óptimo práctico es Q4_K_M -- usa pesos de 4 bits con K-cuantización, que las GPUs NVIDIA aceleran de manera más eficiente que el formato Q4_0 más antiguo.

La fórmula de VRAM (Tamaño del modelo × Bits ÷ 8) cubre solo los pesos del modelo — el KV cache añade VRAM adicional significativa que la mayoría de las guías ignoran.

El KV cache almacena el estado de atención para cada token en tu ventana de contexto. Crece linealmente con la longitud del contexto y permanece en VRAM durante toda la sesión.

Fórmula de VRAM del KV cache: `KV cache ≈ capas × cabezas × dim_cabeza × 2 × longitud_contexto × 2 bytes`

A mayo de 2026, las GPUs NVIDIA ofrecen los tokens/seg más altos para inferencia de LLMs locales en todos los rangos de precio. Las secciones siguientes dan recomendaciones específicas de modelos. Para una comparación detallada de benchmarks, consulta la guía de mejores GPUs para LLMs locales.

Usa esto como referencia rápida según el nivel de VRAM de tu GPU:

Todos los modelos listados a continuación son de pesos abiertos — descargables, ajustables y gratuitos para ejecutar localmente. Si estás eligiendo entre pesos abiertos y APIs propietarias, consulta nuestra comparación de LLMs de código abierto vs propietarios para evaluar costos y rendimiento.

El hardware determina qué modelos puedes ejecutar; la ingeniería de prompts determina qué tan bien rinden. Un prompt bien estructurado en un modelo 7B a menudo supera a un prompt descuidado en un modelo 70B. Consulta la guía completa de ingeniería de prompts para técnicas que maximizan la calidad de salida a cualquier número de parámetros.

En una GPU de 16 GB de VRAM (NVIDIA RTX 4080, RTX 5080 o RTX 4090 laptop), el techo práctico son modelos de 14-24B. Mistral Small 3.1 24B en Q4_K_M es la mejor opción general: usa 13 GB de VRAM, corre a 55 tok/s y es de origen europeo con licencia Apache 2.0.

Devstral Small 24B Q4_K_M cabe a ~16 GB y está optimizado para flujos de trabajo de programación agentiva. La tabla a continuación muestra qué modelos caben y cuáles no. Las filas de "NO cabe" se incluyen intencionalmente — este es el error más común que cometen los dueños de 16 GB.

En una GPU de 12 GB de VRAM (NVIDIA RTX 4070 Ti, RTX 5070 o RTX 5060 Ti), puedes ejecutar modelos 7-8B en Q8, 14B en Q4_K_M o el nuevo Llama 4 Scout 17B en Q4_K_M (MoE). Llama 4 Scout usa una arquitectura de Mezcla de Expertos con 17B parámetros activos de 109B en total — esto hace que Scout sea significativamente más eficiente en VRAM de lo que sugiere su cantidad de parámetros.

Llama 3.1 8B en Q8_0 es la opción más confiable para configuraciones conservadoras: 9 GB de VRAM, 80 tok/s y calidad completa de seguimiento de instrucciones. Qwen2.5 14B en Q4_K_M también cabe a ~8,5 GB y ofrece un razonamiento notablemente mejor que el nivel 8B.

La RTX 4090 tiene 24 GB de VRAM — no suficiente para la mayoría de los modelos 70B a calidad aceptable. Llama 3.3 70B en Q4_K_M requiere aproximadamente 39 GB. El error común es pensar que "Q4 es pequeño" — a 70B parámetros, incluso Q4 es grande.

En una RTX 4090 única, la mejor estrategia son modelos de 27-32B, que ofrecen buena calidad y caben cómodamente. Qwen 3.6 27B en Q4_K_M es el mejor modelo de programación denso (77,2% SWE-bench). Para 70B verdadero en Q4+, necesitas 2× RTX 4090 o una GPU de servidor de 48 GB. Consulta cómo ejecutar modelos 70B en 24 GB de VRAM para técnicas avanzadas.

Con una GPU dedicada, la CPU y la RAM son componentes secundarios. La GPU maneja el cálculo matricial; la CPU/RAM gestionan la preparación del contexto. Para una comparación completa de velocidades de inferencia GPU vs CPU vs Apple Silicon, consulta la guía GPU vs CPU vs Apple Silicon.

CPU mínima: procesador de 8 núcleos (Intel Core i7 gen 14, AMD Ryzen 7 7700X o más reciente). Las CPUs más antiguas añaden 20%+ de latencia.

RAM: 16 GB mínimo (con GPU). Si ejecutas sin GPU, se recomiendan 32+ GB. La RAM no limita directamente el tamaño del modelo cuando hay GPU presente.

Almacenamiento: SSD de 500 GB para archivos de modelo y SO. Se prefiere M.2 NVMe (carga de modelos más rápida).

Sin GPU, una máquina con 16 GB de RAM del sistema puede ejecutar modelos 3B-7B a 8-20 tokens/s usando inferencia CPU. El cuello de botella es el ancho de banda de memoria, no la capacidad de RAM — las CPUs tienen un ancho de banda mucho menor que las GPUs, razón por la cual la inferencia es 5-10 veces más lenta.

Con 16 GB de RAM del sistema, la regla práctica es: tamaño del archivo del modelo + 4 GB de overhead del SO ≤ 16 GB. Un modelo 7B en Q4_K_M (4,9 GB) cabe, pero deja poco margen para contextos largos. La tabla a continuación muestra opciones realistas a mayo de 2026.

Para una guía completa de modelos optimizados por velocidad que cubre solo CPU, 4 GB, 6 GB y 8 GB de VRAM con benchmarks reales, consulta **LLMs Locales Más Rápidos para PCs de Gama Baja**.

Los archivos de modelo son grandes: un modelo 7B a cuantización de 4 bits son 4-5 GB. Planifica el almacenamiento según el número y tamaño de los modelos que quieras conservar localmente.

Construir una máquina para LLMs locales desde cero significa priorizar primero la GPU, luego CPU y RAM. Aquí hay tres configuraciones realistas. Para builds multi-GPU, consulta la guía de LLMs locales multi-GPU.

Si una GPU de $250–400 está fuera de tu presupuesto, o tu laptop es demasiado vieja para soportar motores de inferencia modernos, los LLMs locales pueden no ser rentables para ti en 2026.

Calcula el costo real:

• Local: $800–2.000 de hardware inicial + electricidad + mantenimiento durante 2–3 años

• Cloud: $5–50/mes para uso típico de desarrollador (API de Llama o GPT-4o mini)

Para usuarios ligeros (< 100.000 tokens/mes), las APIs de cloud cuestan $5–10/mes y no requieren hardware. Para usuarios intensivos (> 10M tokens/mes), lo local se amortiza en 6–12 meses.

Compara el análisis completo de costos y rendimiento local vs cloud** para encontrar tu punto de equilibrio. Muchos desarrolladores descubren que el cloud es más barato para su patrón de uso real.

¿Ya buscas por debajo de los niveles de VRAM recomendados? Consulta Mejor app de IA local para PC de gama baja para saber qué combinaciones de modelo y app realmente funcionan con 8 GB o menos.

Con la configuración correcta, llama.cpp en una RTX 4070 Ti logra 85-95 tokens/s en Llama 3.1 8B Q4_K_M — más del doble de la velocidad predeterminada. El indicador más impactante es `--n-gpu-layers 99`, que descarga todas las capas del modelo a la GPU. Sin él, las capas recurren a la CPU, creando un cuello de botella severo.

Estas configuraciones se aplican a llama.cpp directamente y a Ollama (que usa llama.cpp internamente). Ollama establece `--n-gpu-layers 99` automáticamente en hardware NVIDIA si los controladores están instalados correctamente.

Apple Silicon (serie M) ejecuta LLMs locales de manera eficiente usando memoria unificada compartida entre CPU y GPU. El M5, presentado desde octubre de 2025, ofrece una mejora significativa para inferencia local. Apple afirma un procesamiento de prompts LLM 4 veces más rápido que el M4.

El M5 Max con 128 GB de memoria unificada es el primer chip Apple Silicon que ejecuta cómodamente modelos 70B en Q4_K_M — comparable a estaciones de trabajo con doble RTX 4090 pero en formato laptop o Mac Studio. El M5 Pro con 64 GB de memoria unificada maneja modelos 32B con amplio margen para KV cache y multitarea.

Para despliegue en producción (operación 24/7, múltiples usuarios), se recomienda hardware de nivel servidor sobre GPUs de consumidor. El hardware de consumidor está optimizado para gaming, no para inferencia sostenida.

El NVIDIA DGX Spark ($3.999) es la única computadora de escritorio de consumidor a mayo de 2026 que cabe Llama 3.3 70B en Q8_0 completamente en memoria unificada.

Construido sobre el GB10 Grace Blackwell Superchip, el DGX Spark se lanzó a finales de 2025 como una computadora de IA de escritorio compacta con 128 GB LPDDR5x de memoria unificada. A mayo de 2026, el DGX Spark también ejecuta Llama 4 Scout y Maverick completamente en memoria, así como Kimi K2.6 (cuantizado), lo que lo hace adecuado para configuraciones a este nivel.

UE (GDPR + AI Act de la UE): Ejecutar LLMs localmente mantiene todos los datos de inferencia dentro de tu infraestructura, eliminando las preocupaciones de transferencia de datos transfronteriza bajo el Artículo 44 del GDPR. A mayo de 2026, las empresas de la UE que despliegan LLMs para el procesamiento de datos de clientes deben asegurarse de que los modelos nunca se conecten a servidores externos — el hardware local elimina este riesgo por completo. Las obligaciones del AI Act de la UE para sistemas de alto riesgo aplican desde el 2 de agosto de 2026 (pendiente del Digital Omnibus que puede retrasar hasta diciembre de 2027). El hardware local cumple los requisitos de residencia de datos por defecto.

Japón (APPI): La revisión (2022) de la Ley de Protección de Información Personal (APPI) de Japón requiere minimización de datos para el procesamiento de IA. El hardware LLM en las instalaciones con una estación de trabajo RTX 4090 satisface este requisito para el procesamiento de documentos y automatización de soporte al cliente.

China: Las Regulaciones de IA Generativa de la Administración del Ciberespacio de China (CAC) (2023) requieren que los modelos de IA desplegados domésticamente sean registrados. Ejecutar hardware local con modelos de pesos abiertos evita la exposición de cumplimiento basada en API para uso empresarial interno.