Key Takeaways
- Cuantización Q4_K_M: Llama 3.3 70B requiere ~40 GB de RAM; Qwen3 72B requiere ~43 GB de RAM.
- Hardware nuevo más barato: Apple Mac mini M5 Pro (64 GB, $1,699, disponible el 22 de sept. de 2026) es la opción nueva con GPU completa más barata para 70B. El Mac mini M6 base ($899) llega solo a 32 GB y no puede ejecutar un modelo 70B.
- Hardware de consumo más sencillo: Apple Mac Studio M2 Ultra (64 GB unificados) o MacBook Pro M5 Max (64 GB) -- aceleración GPU completa, sin layer offloading necesario.
- Opción NVIDIA: RTX 4090 (24 GB VRAM) + 32 GB de RAM del sistema con layer offloading en Ollama funciona con la mayoría de modelos 70B, aunque el 20-30% de las capas se ejecutan en CPU.
- 70B solo con CPU: posible con 64 GB de RAM pero produce 1-3 tok/seg -- marginalmente usable para tareas por lotes, no para chat interactivo.
- En agosto de 2026, un modelo 70B local sigue igualando la calidad de GPT-4 (2023) y sigue siendo el único camino accesible al consumidor hacia ese nivel de calidad sin costos en la nube.
Ejecutar un modelo de 70B parámetros localmente requiere 40-48 GB de RAM con cuantización Q4_K_M, algo alcanzable en Macs Apple Silicon con 64 GB de memoria unificada, estaciones de trabajo con 64 GB DDR5, o una GPU NVIDIA de 24 GB combinada con 32 GB de RAM del sistema mediante layer offloading.
Un modelo de 70B es uno de los tamaños más grandes que puedes ejecutar realmente en casa, y necesita mucha memoria: unos 40-48 GB. El camino más sencillo es un Mac con suficiente memoria unificada, ya que comparte RAM entre CPU y GPU. En un PC, normalmente necesitarás una tarjeta gráfica grande más RAM adicional del sistema para descargar las partes que no caben en la tarjeta.
¿Qué hardware puede realmente ejecutar un LLM local 70B?
Un modelo 70B con cuantización Q4_K_M requiere aproximadamente 40-43 GB de memoria accesible para el motor de inferencia. Esto puede provenir de VRAM de la GPU, memoria unificada del sistema (Apple Silicon), RAM del sistema, o una combinación mediante layer offloading.
| Hardware | ¿Puede ejecutar 70B? | Velocidad (70B Q4) | Notas |
|---|---|---|---|
| Apple M5 Max MacBook Pro (64 GB) | Sí -- GPU completa | 20-30 tok/seg | Mejor opción de laptop de consumo |
| Apple Mac Studio M5 Max (64 GB) | Sí -- GPU completa | 22-32 tok/seg | Nuevo agosto 2026, $2,499 |
| Apple Mac mini M5 Pro (64 GB) | Sí -- GPU completa | Sin benchmarks aún | Nuevo, disponible 22 sept. 2026, $1,699 -- opción nueva más barata |
| Apple Mac mini M6 (32 GB máx.) | No -- 32 GB máx. | N/D | Nuevo, disponible 22 sept. 2026, $899 -- memoria insuficiente para 70B |
| Apple M2 Ultra (64 GB unificados) | Sí -- GPU completa | 25-35 tok/seg | Configuración base del Mac Studio, usado/reacondicionado |
| Apple Mac Studio M5 Ultra (256GB+) | Sí -- GPU completa | 35-50 tok/seg | Nuevo agosto 2026, desde $5,499. Q8_0/FP16 con margen. |
| NVIDIA DGX Spark (128 GB unificados) | Sí -- GPU completa | 18-28 tok/seg | Q8_0 cabe (70 GB). Ideal para flujos CUDA. |
| NVIDIA RTX 4090 (24 GB) + 32 GB RAM | Sí -- con offloading | 10-18 tok/seg | ~60% capas en GPU, ~40% en CPU |
| NVIDIA RTX 4080 (16 GB) + 32 GB RAM | Solo offloading parcial | 5-10 tok/seg | Solo ~35% de capas en GPU |
| 64 GB RAM, solo CPU | Sí -- solo CPU | 1-3 tok/seg | Impracticable para uso interactivo |
¿Cuánta RAM necesita un modelo 70B en cada nivel de cuantización?
| Cuantización | RAM requerida | Calidad | ¿Práctico? |
|---|---|---|---|
| FP16 (precisión completa) | ~140 GB | Calidad de referencia | No -- solo servidores |
| Q8_0 | ~70 GB | Casi sin pérdida | Solo Mac Ultra 192 GB |
| Q5_K_M | ~50 GB | Pérdida mínima | Mac Ultra 64 GB, ajustado |
| Q4_K_M | ~40-43 GB | Pérdida baja -- recomendado | Sí -- opción más viable |
| Q3_K_S | ~30 GB | Pérdida moderada | Sí -- posible en máquinas de 32 GB |
| Q2_K | ~22 GB | Pérdida alta | No recomendado |
¿Por qué Apple Silicon es la mejor opción de consumo para modelos 70B?
Apple Silicon usa memoria unificada -- la CPU y la GPU comparten el mismo grupo de memoria física. Un MacBook Pro M5 Max con 64 GB de memoria unificada puede ejecutar un modelo 70B en Q4_K_M completamente en la GPU, alcanzando 20-30 tok/seg sin el overhead del layer offloading.
En hardware NVIDIA, la GPU y la RAM del sistema están separadas. Una GPU con 24 GB de VRAM solo puede alojar el ~60% de un modelo 70B en Q4_K_M; las capas restantes se ejecutan en CPU, creando un cuello de botella de ancho de banda de memoria que reduce la velocidad a 10-18 tok/seg.
En agosto de 2026, un Mac Studio M2 Ultra de segunda mano (64 GB, ~$2,000 reacondicionado) sigue siendo la vía usada más económica hacia la inferencia local 70B a velocidad utilizable. Apple lanzó una nueva línea de Mac Studio con chips M5 Max y M5 Ultra en agosto de 2026: el nuevo Mac Studio M5 Max (64 GB, $2,499) es una opción nueva con GPU completa, y el Mac Studio M5 Ultra (256 GB o 512 GB, desde $5,499) duplica el ancho de banda de memoria unificada a 1.2 TB/s, ejecutando modelos 70B en Q8_0 o FP16 sin ningún compromiso de calidad.
Apple renovó el Mac mini el 25 de agosto de 2026, con disponibilidad el 22 de septiembre de 2026, y esto cambia de nuevo cuál es la opción nueva más barata. El Mac mini M5 Pro (desde $1,699) llega hasta 64 GB de memoria unificada con 307 GB/s de ancho de banda y Thunderbolt 5 -- suficiente para ejecutar un modelo 70B en Q4_K_M completamente en la GPU, y $800 más barato que el Mac Studio M5 Max. El Mac mini M6 base (desde $899) es un equipo distinto: llega solo a 32 GB de memoria unificada y 170 GB/s de ancho de banda, muy por debajo de los 40+ GB que necesita un modelo 70B, por lo que no puede ejecutar un modelo 70B en ningún nivel de cuantización. Aún no existen benchmarks independientes para ninguno de los dos chips -- ambos estarán disponibles el 22 de septiembre de 2026.
NVIDIA DGX Spark: 128 GB de memoria unificada para modelos 70B
El NVIDIA DGX Spark ($4,699) es un ordenador de escritorio de IA compacto lanzado en octubre de 2025, basado en el GB10 Grace Blackwell Superchip con 128 GB de memoria unificada LPDDR5x. Su arquitectura de memoria unificada significa que la GPU y la CPU comparten el mismo pool de 128 GB -- similar a Apple Silicon pero con aceleración CUDA.
Con 128 GB de memoria unificada, el DGX Spark ejecuta Llama 3.3 70B y Qwen3 72B en Q8_0 (70 GB -- calidad casi sin pérdida). La velocidad de inferencia para 70B en Q8_0 es aproximadamente 18-28 tok/seg.
NVIDIA subió el precio del DGX Spark Founders Edition de $3,999 a $4,699 en febrero de 2026, citando restricciones en el suministro de memoria -- la misma escasez de DRAM que también ha elevado los precios de las GPU RTX serie 50 muy por encima del MSRP.
| Especificación | Valor |
|---|---|
| Memoria | 128 GB unificados LPDDR5x |
| 70B en Q8_0 | Sí -- calidad casi sin pérdida |
| Velocidad de inferencia 70B | 18-28 tok/seg |
| Tamaño máximo de modelo | ~200B parámetros en FP4 |
| Precio | $4,699 (NVIDIA directo / Amazon) |
| Comando Ollama | ollama run llama3.3:70b |
¿Cómo funciona la GPU NVIDIA + layer offloading para modelos 70B?
Ollama y llama.cpp permiten dividir un modelo entre la VRAM de la GPU y la RAM del sistema. Las capas cargadas en VRAM se ejecutan a velocidad GPU; las capas en RAM del sistema se ejecutan a velocidad CPU:
# Ollama automatically offloads as many layers as fit in VRAM
# To explicitly control layers:
ollama run llama3.3:70b
# Check how many layers are on GPU:
ollama ps
# Output shows: llama3.3:70b ... 23/80 GPU layers
# For llama.cpp directly:
./llama-cli -m llama-3.3-70b-q4_k_m.gguf \
-ngl 40 # number of layers to offload to GPU
--ctx-size 4096
¿Es práctica la inferencia 70B solo con CPU?
Un modelo 70B en Q4_K_M en una CPU de alto número de núcleos (AMD Threadripper, Intel Xeon) con 64 GB de RAM produce 1-3 tokens/seg. A 2 tok/seg, una respuesta de 200 palabras tarda aproximadamente 75 segundos.
Esto es impracticable para chat interactivo, pero utilizable para procesamiento por lotes -- resumir documentos, generar informes o procesar archivos durante la noche. Para uso interactivo, el hardware mínimo práctico es una máquina que pueda alcanzar 8+ tok/seg, lo que requiere Apple Silicon o layer offloading con GPU NVIDIA.
¿Qué modelo 70B deberías ejecutar localmente?
| Modelo | MMLU | HumanEval | Ideal para |
|---|---|---|---|
| Llama 3.3 70B | 82% | 88% | Tareas generales en inglés, seguimiento de instrucciones |
| Qwen3 72B | 84% | 87% | Codificación, multilingüe (29 idiomas) |
| Mistral Large 123B | 84% | 80% | Requiere 80+ GB -- solo estaciones de trabajo |
Ejecutar modelos 70B localmente: contexto regional
UE / RGPD: Un modelo local 70B representa el límite práctico de la calidad de IA ejecutable de forma privada. Para empresas de la UE que procesan datos sensibles -- documentos legales, registros médicos, análisis financiero -- un modelo 70B en local entrega calidad GPT-4 2023 con pleno cumplimiento del RGPD. Ningún prompt, contexto ni salida abandona la infraestructura de la organización.
Para el cumplimiento de BSI alemán y CNIL francesa: el Mac Studio M2 Ultra (Apple, EE.UU.) y el NVIDIA DGX Spark (NVIDIA, EE.UU.) son de proveedores no europeos. Para organizaciones que requieran hardware de cadena de suministro europea, los partners OEM de NVIDIA (Dell, HP, Lenovo) producen sistemas compatibles con DGX Spark y GB10 con soporte en la UE.
Selección de modelos para cumplimiento en la UE: Mistral Large 123B (Mistral AI, Francia, Apache 2.0) es el único modelo de 70B+ desarrollado por una empresa europea. Requiere más de 80 GB de RAM (solo estaciones de trabajo), pero ofrece la narrativa más sólida en términos de propiedad intelectual y cumplimiento en la UE.
Japón (METI): Para empresas japonesas, Qwen3 72B es el modelo 70B recomendado -- su tokenización nativa para japonés es un 30-40% más eficiente que Llama para texto en japonés. En un Mac Studio M2 Ultra (64 GB): `ollama run qwen2.5:72b`. La gobernanza de IA del METI requiere documentar las versiones de hardware y modelo. La salida de `ollama ps` proporciona la identificación exacta del modelo para los registros de cumplimiento.
China: Qwen3 72B (Alibaba) ejecutado localmente satisface la localización de datos bajo la Ley de Seguridad de Datos de China (数据安全法) mientras ofrece un 84% de calidad MMLU. Los equipos empresariales comúnmente despliegan en servidores de doble GPU (2× RTX 4090, 48 GB de VRAM combinados). Para el cumplimiento del CAC: un Qwen3 72B alojado localmente que atiende usuarios internos está fuera de la definición de proveedor del CAC -- no se ofrece como servicio público.
¿Cuáles son los errores comunes al ejecutar modelos 70B en hardware de consumo?
Comprar una GPU con menos de 24 GB de VRAM esperando rendimiento 70B completo
Una RTX 4070 Ti (12 GB de VRAM) solo puede alojar el ~30% de un modelo 70B en Q4_K_M en VRAM. El 70% restante se ejecuta en CPU, resultando en 3-5 tok/seg -- apenas más rápido que la inferencia solo con CPU. Para modelos 70B, 24 GB de VRAM (RTX 4090) es el mínimo práctico para una aceleración GPU útil. Por debajo de esto, considera ejecutar un modelo de 34B en su lugar.
No usar layer offloading en Ollama
Por defecto, si un modelo 70B no cabe completamente en VRAM, Ollama recurre a la inferencia solo con CPU. Establece las capas GPU explícitamente con `OLLAMA_GPU_LAYERS=999` -- Ollama hará offloading de tantas capas como quepan en VRAM y ejecutará el resto en CPU, lo cual es significativamente más rápido que la inferencia con solo CPU.
Usar Q4_K_M cuando Q3_K_S encajaría mejor en el hardware disponible
En máquinas con 32-40 GB de RAM, Q4_K_M para un modelo 70B puede ser demasiado ajustado (dejando margen insuficiente para el sistema operativo). Q3_K_S reduce la RAM a ~30 GB con una pérdida de calidad moderada. Ejecuta `ollama ps` después de cargar el modelo -- si ves uso de swap, baja a Q3_K_S.
Esperar la misma velocidad de Apple Silicon con una configuración NVIDIA con offloading
El layer offloading en NVIDIA crea un cuello de botella de ancho de banda de memoria entre VRAM y RAM del sistema. La RTX 4090 con offloading produce 10-18 tok/seg frente a 20-30 tok/seg en el M5 Max. Para velocidad equivalente, Apple Silicon es la mejor opción de consumo. Para flujos de trabajo CUDA (ajuste fino, kernels personalizados), NVIDIA es necesario.
Ejecutar Q4_K_M en el DGX Spark en lugar de Q8_0
El DGX Spark tiene 128 GB -- suficiente para Q8_0 (70 GB). Usar Q4_K_M desperdicia la calidad disponible. En cualquier máquina con más de 80 GB, ejecuta Q8_0 para modelos 70B.
Comprar el Mac mini M6 base esperando que ejecute un modelo 70B
El Mac mini M6 ($899) llega solo a 32 GB de memoria unificada -- muy por debajo de los 40+ GB que necesita un modelo 70B en Q4_K_M. No puede ejecutar un modelo 70B en ningún nivel de cuantización. Para 70B en un Mac mini, el nivel requerido es el Mac mini M5 Pro ($1,699, 64 GB de memoria unificada) -- confirma "M5 Pro" y 64 GB antes de comprar, no el M6 base.
Preguntas frecuentes sobre ejecutar modelos 70B en hardware de consumo
¿Cuál es el hardware más barato que puede ejecutar un modelo 70B de forma utilizable?
El Mac mini M5 Pro ($1,699, 64 GB de memoria unificada, disponible el 22 de septiembre de 2026) se perfila como el hardware nuevo más barato capaz de ejecutar un modelo 70B, $800 por debajo de la anterior opción nueva más barata, el Mac Studio M5 Max (64 GB, $2,499). Un Mac Studio M2 Ultra de segunda mano (64 GB de memoria unificada) por ~$2,000 sigue siendo el camino usado más económico a un rendimiento probado de 25+ tok/seg. Aún no existen benchmarks independientes para el Mac mini M5 Pro. Un escritorio con NVIDIA RTX 4090 (24 GB VRAM + 32 GB RAM) cuesta ~$3,000-$4,000 en total, pero produce una inferencia más lenta debido al layer offloading. No confundas el Mac mini M5 Pro con el Mac mini M6 base ($899) -- el M6 llega solo a 32 GB de memoria unificada y no puede ejecutar un modelo 70B.
¿Puede el Mac mini M6 ejecutar un modelo 70B?
No. El Mac mini M6 (desde $899) llega solo a 32 GB de memoria unificada y 170 GB/s de ancho de banda -- muy por debajo de los 40+ GB que requiere un modelo 70B en Q4_K_M. Para 70B en un Mac mini, pide el Mac mini M5 Pro (desde $1,699, 64 GB de memoria unificada, 307 GB/s de ancho de banda, Thunderbolt 5). Ambos estarán disponibles el 22 de septiembre de 2026, y aún no existen benchmarks independientes para ninguno de los dos chips.
¿Puedo ejecutar un modelo 70B en dos GPUs?
Sí -- llama.cpp y Ollama admiten inferencia multi-GPU en hardware NVIDIA. Dos RTX 4090 (48 GB de VRAM total) caben un modelo 70B en Q4_K_M completamente en VRAM. Ollama gestiona el multi-GPU automáticamente cuando hay múltiples GPUs presentes. El paralelismo de tensores en llama.cpp (`--tensor-split`) controla cómo se distribuyen las capas.
¿Cómo se compara la calidad local 70B con GPT-5.5?
En los benchmarks MMLU y HumanEval, Llama 3.3 70B (82%, 88%) y Qwen3 72B (84%, 87%) igualan o superan ligeramente los puntajes de GPT-4 (2023). GPT-5.5 (2024) puntúa más alto en tareas intensivas en razonamiento. Para seguimiento general de instrucciones, resumen y generación de código, los modelos locales 70B son competitivos con GPT-5.5 en la mayoría de tareas.
¿Admite Ollama la ejecución automática de modelos 70B?
Sí. Ejecutar `ollama run llama3.3:70b` descarga y ejecuta el modelo con layer offloading automático de GPU. Ollama detecta la VRAM disponible y la RAM del sistema, hace offloading de tantas capas como sea posible a la GPU y ejecuta el resto en CPU. No se requiere configuración manual para el uso básico.
¿Cuánta electricidad consume ejecutar un modelo 70B?
Un Mac Studio M2 Ultra ejecutando inferencia 70B consume aproximadamente 30-50 W. Un escritorio con NVIDIA RTX 4090 bajo carga consume 350-450 W. A $0.15 por kWh, la inferencia 70B continua en una RTX 4090 cuesta aproximadamente $0.05-0.07 por hora. Apple Silicon es 7-10 veces más eficiente energéticamente para esta carga de trabajo.
¿Valen la pena los modelos 70B comparados con los modelos 13B para tareas cotidianas?
Para razonamiento complejo, análisis de documentos extensos y escritura matizada, sí -- la diferencia de calidad es notable. Para resumen simple, preguntas y respuestas, y clasificación, un modelo de 13B o incluso 7B produce una salida prácticamente idéntica. Ejecuta ambos en tu caso de uso específico con PromptQuorum para cuantificar la diferencia de calidad antes de invertir en hardware para 70B.
¿Qué es el NVIDIA DGX Spark y vale la pena para inferencia 70B?
El DGX Spark ($4,699) es el ordenador de IA de escritorio compacto de NVIDIA con 128 GB de memoria unificada. Ejecuta modelos 70B en Q8_0 (calidad casi sin pérdida) sin restricciones de cuantización. Velocidad: 18-28 tok/seg. Comparado con un Mac Studio M2 Ultra (~$2,000 reacondicionado, 64 GB): el DGX Spark cuesta ~$2,700 más por inferencia de mayor calidad y soporte CUDA. Para inferencia 70B pura, el Mac Studio es más económico. Para flujos de trabajo CUDA (ajuste fino, kernels personalizados), el DGX Spark es mejor.
¿Puedo ajustar un modelo 70B en hardware de consumo?
El ajuste fino completo requiere aproximadamente 3 veces la memoria de inferencia para ajuste LoRA (~120-130 GB de VRAM). Esto supera todo el hardware de consumo excepto el DGX Spark (128 GB -- apenas factible para ejecuciones pequeñas de LoRA con cuantización de 4 bits). Para el ajuste fino de 70B, los proveedores de GPU en la nube (RunPod, Lambda Labs, Vast.ai) son más prácticos. El hardware de consumo maneja el ajuste fino de 7B-13B de forma confiable.
¿Cuál es la mejor cuantización para 70B en Apple Silicon?
En un Mac de 64 GB (M5 Max o M2 Ultra): Q4_K_M (~40 GB) deja 24 GB para el sistema operativo -- cómodo. Q5_K_M (~50 GB) deja 14 GB -- ajustado pero factible. Q8_0 (~70 GB) supera los 64 GB -- solo factible en configuraciones de 96 GB o 128 GB. En un Mac de 128 GB: se recomienda Q8_0 para calidad casi sin pérdida sin penalización de velocidad.
¿Elige Ollama automáticamente la mejor cuantización?
No. `ollama run llama3.3:70b` descarga el Q4_K_M predeterminado. Especifica explícitamente para mayor calidad: `ollama run llama3.3:70b:q5_k_m` o `ollama run llama3.3:70b:q8_0`. Verifica la memoria disponible con `ollama ps` después de cargar -- si el modelo cabe cómodamente, sube al siguiente nivel de cuantización.
Fuentes
- Documentación de GPU Offloading de llama.cpp -- github.com/ggerganov/llama.cpp/blob/master/docs/backend/CUDA.md
- Biblioteca de modelos de Ollama -- ollama.com/library/llama3.3
- Benchmarks de inferencia Apple M5 Max -- github.com/ggerganov/llama.cpp/discussions (hilo de benchmarks de la comunidad)
- Tarjeta de modelo Meta Llama 3.3 -- huggingface.co/meta-llama/Llama-3.3-70B-Instruct
- NVIDIA DGX Spark -- nvidia.com/en-us/products/workstations/dgx-spark/