Key Takeaways
- Cuantización Q4_K_M: Llama 3.3 70B requiere ~40 GB de RAM; Qwen2.5 72B requiere ~43 GB de RAM.
- Hardware de consumo más sencillo: Apple Mac Studio M2 Ultra (64 GB unificados) o MacBook Pro M5 Max (64 GB) -- aceleración GPU completa, sin layer offloading necesario.
- Opción NVIDIA: RTX 4090 (24 GB VRAM) + 32 GB de RAM del sistema con layer offloading en Ollama funciona con la mayoría de modelos 70B, aunque el 20-30% de las capas se ejecutan en CPU.
- 70B solo con CPU: posible con 64 GB de RAM pero produce 1-3 tok/seg -- marginalmente usable para tareas por lotes, no para chat interactivo.
- En abril de 2026, un modelo 70B local iguala la calidad de GPT-4 (2023) y es el único camino accesible al consumidor hacia ese nivel de calidad sin costos en la nube.
¿Qué hardware puede realmente ejecutar un LLM local 70B?
Un modelo 70B con cuantización Q4_K_M requiere aproximadamente 40-43 GB de memoria accesible para el motor de inferencia. Esto puede provenir de VRAM de la GPU, memoria unificada del sistema (Apple Silicon), RAM del sistema, o una combinación mediante layer offloading.
| Hardware | ¿Puede ejecutar 70B? | Velocidad (70B Q4) | Notas |
|---|---|---|---|
| Apple M5 Max (64 GB unificados) | Sí -- GPU completa | 20-30 tok/seg | Mejor opción de laptop de consumo |
| Apple M2 Ultra (64 GB unificados) | Sí -- GPU completa | 25-35 tok/seg | Configuración base del Mac Studio |
| Apple M2 Ultra (192 GB unificados) | Sí -- GPU completa | 30-40 tok/seg | Ejecuta Q8_0 con margen amplio |
| NVIDIA DGX Spark (128 GB unificados) | Sí -- GPU completa | 18-28 tok/seg | Q8_0 cabe (70 GB). Ideal para flujos CUDA. |
| NVIDIA RTX 4090 (24 GB) + 32 GB RAM | Sí -- con offloading | 10-18 tok/seg | ~60% capas en GPU, ~40% en CPU |
| NVIDIA RTX 4080 (16 GB) + 32 GB RAM | Solo offloading parcial | 5-10 tok/seg | Solo ~35% de capas en GPU |
| 64 GB RAM, solo CPU | Sí -- solo CPU | 1-3 tok/seg | Impracticable para uso interactivo |
¿Cuánta RAM necesita un modelo 70B en cada nivel de cuantización?
| Cuantización | RAM requerida | Calidad | ¿Práctico? |
|---|---|---|---|
| FP16 (precisión completa) | ~140 GB | Calidad de referencia | No -- solo servidores |
| Q8_0 | ~70 GB | Casi sin pérdida | Solo Mac Ultra 192 GB |
| Q5_K_M | ~50 GB | Pérdida mínima | Mac Ultra 64 GB, ajustado |
| Q4_K_M | ~40-43 GB | Pérdida baja -- recomendado | Sí -- opción más viable |
| Q3_K_S | ~30 GB | Pérdida moderada | Sí -- posible en máquinas de 32 GB |
| Q2_K | ~22 GB | Pérdida alta | No recomendado |
¿Por qué Apple Silicon es la mejor opción de consumo para modelos 70B?
Apple Silicon usa memoria unificada -- la CPU y la GPU comparten el mismo grupo de memoria física. Un MacBook Pro M5 Max con 64 GB de memoria unificada puede ejecutar un modelo 70B en Q4_K_M completamente en la GPU, alcanzando 20-30 tok/seg sin el overhead del layer offloading.
En hardware NVIDIA, la GPU y la RAM del sistema están separadas. Una GPU con 24 GB de VRAM solo puede alojar el ~60% de un modelo 70B en Q4_K_M; las capas restantes se ejecutan en CPU, creando un cuello de botella de ancho de banda de memoria que reduce la velocidad a 10-18 tok/seg.
En abril de 2026, el Mac Studio M2 Ultra (64 GB, ~$2,000 reacondicionado) es el camino más rentable hacia la inferencia local 70B a velocidad utilizable. Un nuevo MacBook Pro M5 Max de 64 GB cuesta aproximadamente $3,500.
NVIDIA DGX Spark: 128 GB de memoria unificada para modelos 70B
El NVIDIA DGX Spark ($3,999) es un ordenador de escritorio de IA compacto lanzado en octubre de 2025, basado en el GB10 Grace Blackwell Superchip con 128 GB de memoria unificada LPDDR5x. Su arquitectura de memoria unificada significa que la GPU y la CPU comparten el mismo pool de 128 GB -- similar a Apple Silicon pero con aceleración CUDA.
Con 128 GB de memoria unificada, el DGX Spark ejecuta Llama 3.3 70B y Qwen2.5 72B en Q8_0 (70 GB -- calidad casi sin pérdida). La velocidad de inferencia para 70B en Q8_0 es aproximadamente 18-28 tok/seg.
| Especificación | Valor |
|---|---|
| Memoria | 128 GB unificados LPDDR5x |
| 70B en Q8_0 | Sí -- calidad casi sin pérdida |
| Velocidad de inferencia 70B | 18-28 tok/seg |
| Tamaño máximo de modelo | ~200B parámetros en FP4 |
| Precio | $3,999 (NVIDIA directo / Amazon) |
| Comando Ollama | ollama run llama3.3:70b |
¿Cómo funciona la GPU NVIDIA + layer offloading para modelos 70B?
Ollama y llama.cpp permiten dividir un modelo entre la VRAM de la GPU y la RAM del sistema. Las capas cargadas en VRAM se ejecutan a velocidad GPU; las capas en RAM del sistema se ejecutan a velocidad CPU:
# Ollama automatically offloads as many layers as fit in VRAM
# To explicitly control layers:
ollama run llama3.3:70b
# Check how many layers are on GPU:
ollama ps
# Output shows: llama3.3:70b ... 23/80 GPU layers
# For llama.cpp directly:
./llama-cli -m llama-3.3-70b-q4_k_m.gguf \
-ngl 40 # number of layers to offload to GPU
--ctx-size 4096
¿Es práctica la inferencia 70B solo con CPU?
Un modelo 70B en Q4_K_M en una CPU de alto número de núcleos (AMD Threadripper, Intel Xeon) con 64 GB de RAM produce 1-3 tokens/seg. A 2 tok/seg, una respuesta de 200 palabras tarda aproximadamente 75 segundos.
Esto es impracticable para chat interactivo, pero utilizable para procesamiento por lotes -- resumir documentos, generar informes o procesar archivos durante la noche. Para uso interactivo, el hardware mínimo práctico es una máquina que pueda alcanzar 8+ tok/seg, lo que requiere Apple Silicon o layer offloading con GPU NVIDIA.
¿Qué modelo 70B deberías ejecutar localmente?
| Modelo | MMLU | HumanEval | Ideal para |
|---|---|---|---|
| Llama 3.3 70B | 82% | 88% | Tareas generales en inglés, seguimiento de instrucciones |
| Qwen2.5 72B | 84% | 87% | Codificación, multilingüe (29 idiomas) |
| Mistral Large 123B | 84% | 80% | Requiere 80+ GB -- solo estaciones de trabajo |
Ejecutar modelos 70B localmente: contexto regional
UE / RGPD: Un modelo local 70B representa el límite práctico de la calidad de IA ejecutable de forma privada. Para empresas de la UE que procesan datos sensibles -- documentos legales, registros médicos, análisis financiero -- un modelo 70B en local entrega calidad GPT-4 2023 con pleno cumplimiento del RGPD. Ningún prompt, contexto ni salida abandona la infraestructura de la organización.
Para el cumplimiento de BSI alemán y CNIL francesa: el Mac Studio M2 Ultra (Apple, EE.UU.) y el NVIDIA DGX Spark (NVIDIA, EE.UU.) son de proveedores no europeos. Para organizaciones que requieran hardware de cadena de suministro europea, los partners OEM de NVIDIA (Dell, HP, Lenovo) producen sistemas compatibles con DGX Spark y GB10 con soporte en la UE.
Selección de modelos para cumplimiento en la UE: Mistral Large 123B (Mistral AI, Francia, Apache 2.0) es el único modelo de 70B+ desarrollado por una empresa europea. Requiere más de 80 GB de RAM (solo estaciones de trabajo), pero ofrece la narrativa más sólida en términos de propiedad intelectual y cumplimiento en la UE.
Japón (METI): Para empresas japonesas, Qwen2.5 72B es el modelo 70B recomendado -- su tokenización nativa para japonés es un 30-40% más eficiente que Llama para texto en japonés. En un Mac Studio M2 Ultra (64 GB): `ollama run qwen2.5:72b`. La gobernanza de IA del METI requiere documentar las versiones de hardware y modelo. La salida de `ollama ps` proporciona la identificación exacta del modelo para los registros de cumplimiento.
China: Qwen2.5 72B (Alibaba) ejecutado localmente satisface la localización de datos bajo la Ley de Seguridad de Datos de China (数据安全法) mientras ofrece un 84% de calidad MMLU. Los equipos empresariales comúnmente despliegan en servidores de doble GPU (2× RTX 4090, 48 GB de VRAM combinados). Para el cumplimiento del CAC: un Qwen2.5 72B alojado localmente que atiende usuarios internos está fuera de la definición de proveedor del CAC -- no se ofrece como servicio público.
¿Cuáles son los errores comunes al ejecutar modelos 70B en hardware de consumo?
Comprar una GPU con menos de 24 GB de VRAM esperando rendimiento 70B completo
Una RTX 4070 Ti (12 GB de VRAM) solo puede alojar el ~30% de un modelo 70B en Q4_K_M en VRAM. El 70% restante se ejecuta en CPU, resultando en 3-5 tok/seg -- apenas más rápido que la inferencia solo con CPU. Para modelos 70B, 24 GB de VRAM (RTX 4090) es el mínimo práctico para una aceleración GPU útil. Por debajo de esto, considera ejecutar un modelo de 34B en su lugar.
No usar layer offloading en Ollama
Por defecto, si un modelo 70B no cabe completamente en VRAM, Ollama recurre a la inferencia solo con CPU. Establece las capas GPU explícitamente con `OLLAMA_GPU_LAYERS=999` -- Ollama hará offloading de tantas capas como quepan en VRAM y ejecutará el resto en CPU, lo cual es significativamente más rápido que la inferencia con solo CPU.
Usar Q4_K_M cuando Q3_K_S encajaría mejor en el hardware disponible
En máquinas con 32-40 GB de RAM, Q4_K_M para un modelo 70B puede ser demasiado ajustado (dejando margen insuficiente para el sistema operativo). Q3_K_S reduce la RAM a ~30 GB con una pérdida de calidad moderada. Ejecuta `ollama ps` después de cargar el modelo -- si ves uso de swap, baja a Q3_K_S.
Esperar la misma velocidad de Apple Silicon con una configuración NVIDIA con offloading
El layer offloading en NVIDIA crea un cuello de botella de ancho de banda de memoria entre VRAM y RAM del sistema. La RTX 4090 con offloading produce 10-18 tok/seg frente a 20-30 tok/seg en el M5 Max. Para velocidad equivalente, Apple Silicon es la mejor opción de consumo. Para flujos de trabajo CUDA (ajuste fino, kernels personalizados), NVIDIA es necesario.
Ejecutar Q4_K_M en el DGX Spark en lugar de Q8_0
El DGX Spark tiene 128 GB -- suficiente para Q8_0 (70 GB). Usar Q4_K_M desperdicia la calidad disponible. En cualquier máquina con más de 80 GB, ejecuta Q8_0 para modelos 70B.
Preguntas frecuentes sobre ejecutar modelos 70B en hardware de consumo
¿Cuál es el hardware más barato que puede ejecutar un modelo 70B de forma utilizable?
En abril de 2026, un Mac Studio M2 Ultra de segunda mano (64 GB de memoria unificada) por ~$2,000 es el camino más económico hacia la inferencia 70B a 25+ tok/seg. Un equipo nuevo equivalente sería el MacBook Pro M5 Max de 64 GB (~$3,500). Un escritorio con NVIDIA RTX 4090 (24 GB VRAM + 32 GB RAM) cuesta ~$3,000-$4,000 en total, pero produce una inferencia más lenta debido al layer offloading.
¿Puedo ejecutar un modelo 70B en dos GPUs?
Sí -- llama.cpp y Ollama admiten inferencia multi-GPU en hardware NVIDIA. Dos RTX 4090 (48 GB de VRAM total) caben un modelo 70B en Q4_K_M completamente en VRAM. Ollama gestiona el multi-GPU automáticamente cuando hay múltiples GPUs presentes. El paralelismo de tensores en llama.cpp (`--tensor-split`) controla cómo se distribuyen las capas.
¿Cómo se compara la calidad local 70B con GPT-4o?
En los benchmarks MMLU y HumanEval, Llama 3.3 70B (82%, 88%) y Qwen2.5 72B (84%, 87%) igualan o superan ligeramente los puntajes de GPT-4 (2023). GPT-4o (2024) puntúa más alto en tareas intensivas en razonamiento. Para seguimiento general de instrucciones, resumen y generación de código, los modelos locales 70B son competitivos con GPT-4o en la mayoría de tareas.
¿Admite Ollama la ejecución automática de modelos 70B?
Sí. Ejecutar `ollama run llama3.3:70b` descarga y ejecuta el modelo con layer offloading automático de GPU. Ollama detecta la VRAM disponible y la RAM del sistema, hace offloading de tantas capas como sea posible a la GPU y ejecuta el resto en CPU. No se requiere configuración manual para el uso básico.
¿Cuánta electricidad consume ejecutar un modelo 70B?
Un Mac Studio M2 Ultra ejecutando inferencia 70B consume aproximadamente 30-50 W. Un escritorio con NVIDIA RTX 4090 bajo carga consume 350-450 W. A $0.15 por kWh, la inferencia 70B continua en una RTX 4090 cuesta aproximadamente $0.05-0.07 por hora. Apple Silicon es 7-10 veces más eficiente energéticamente para esta carga de trabajo.
¿Valen la pena los modelos 70B comparados con los modelos 13B para tareas cotidianas?
Para razonamiento complejo, análisis de documentos extensos y escritura matizada, sí -- la diferencia de calidad es notable. Para resumen simple, preguntas y respuestas, y clasificación, un modelo de 13B o incluso 7B produce una salida prácticamente idéntica. Ejecuta ambos en tu caso de uso específico con PromptQuorum para cuantificar la diferencia de calidad antes de invertir en hardware para 70B.
¿Qué es el NVIDIA DGX Spark y vale la pena para inferencia 70B?
El DGX Spark ($3,999) es el ordenador de IA de escritorio compacto de NVIDIA con 128 GB de memoria unificada. Ejecuta modelos 70B en Q8_0 (calidad casi sin pérdida) sin restricciones de cuantización. Velocidad: 18-28 tok/seg. Comparado con un Mac Studio M2 Ultra (~$2,000 reacondicionado, 64 GB): el DGX Spark cuesta ~$2,000 más por inferencia de mayor calidad y soporte CUDA. Para inferencia 70B pura, el Mac Studio es más económico. Para flujos de trabajo CUDA (ajuste fino, kernels personalizados), el DGX Spark es mejor.
¿Puedo ajustar un modelo 70B en hardware de consumo?
El ajuste fino completo requiere aproximadamente 3 veces la memoria de inferencia para ajuste LoRA (~120-130 GB de VRAM). Esto supera todo el hardware de consumo excepto el DGX Spark (128 GB -- apenas factible para ejecuciones pequeñas de LoRA con cuantización de 4 bits). Para el ajuste fino de 70B, los proveedores de GPU en la nube (RunPod, Lambda Labs, Vast.ai) son más prácticos. El hardware de consumo maneja el ajuste fino de 7B-13B de forma confiable.
¿Cuál es la mejor cuantización para 70B en Apple Silicon?
En un Mac de 64 GB (M5 Max o M2 Ultra): Q4_K_M (~40 GB) deja 24 GB para el sistema operativo -- cómodo. Q5_K_M (~50 GB) deja 14 GB -- ajustado pero factible. Q8_0 (~70 GB) supera los 64 GB -- solo factible en configuraciones de 96 GB o 128 GB. En un Mac de 128 GB: se recomienda Q8_0 para calidad casi sin pérdida sin penalización de velocidad.
¿Elige Ollama automáticamente la mejor cuantización?
No. `ollama run llama3.3:70b` descarga el Q4_K_M predeterminado. Especifica explícitamente para mayor calidad: `ollama run llama3.3:70b:q5_k_m` o `ollama run llama3.3:70b:q8_0`. Verifica la memoria disponible con `ollama ps` después de cargar -- si el modelo cabe cómodamente, sube al siguiente nivel de cuantización.
Fuentes
- Documentación de GPU Offloading de llama.cpp -- github.com/ggerganov/llama.cpp/blob/master/docs/backend/CUDA.md
- Biblioteca de modelos de Ollama -- ollama.com/library/llama3.3
- Benchmarks de inferencia Apple M5 Max -- github.com/ggerganov/llama.cpp/discussions (hilo de benchmarks de la comunidad)
- Tarjeta de modelo Meta Llama 3.3 -- huggingface.co/meta-llama/Llama-3.3-70B-Instruct
- NVIDIA DGX Spark -- nvidia.com/en-us/products/workstations/dgx-spark/