Skip to main content
PromptQuorumPromptQuorum
Home/Local LLMs/Ejecutar LLMs Locales en un Portátil: RAM, Velocidad y Temperatura 2026
Getting Started

Ejecutar LLMs Locales en un Portátil: RAM, Velocidad y Temperatura 2026

·8 min de lectura·Por Hans Kuepper · Fundador de PromptQuorum, herramienta de despacho multi-modelo · PromptQuorum

Ejecutar un LLM local en un portátil significa desplegar modelos de lenguaje directamente en tu ordenador sin APIs en la nube ni transmisión de datos externos. El principal beneficio es la privacidad total y la capacidad de trabajar sin conexión; el rendimiento depende del hardware (mínimo 8 GB de RAM para modelos 7B, 16 GB para 13B).

Ejecutar un LLM local en un portátil es posible — incluso con 8 GB de RAM — pero el rendimiento depende en gran medida del tamaño del modelo, la RAM y la temperatura. Un modelo 7B funciona a 10–25 tokens/seg en CPU o 50–80 tok/seg en Apple Silicon, lo que hace que los portátiles sean viables para desarrollo, pruebas y flujos de trabajo de IA ligeros.

Respuesta rápida: ¿Qué LLM local funciona en tu portátil (8GB, 16GB, Apple Silicon)?

Puedes ejecutar un LLM local en cualquier portátil con 8 GB de RAM — un modelo 7B en Q4_K_M funciona a 10–25 tok/s en CPU y 30–80 tok/s en Apple Silicon. Combina tu hardware con el modelo adecuado a continuación:

Tu portátilMejor modeloVelocidad (CPU)Velocidad (Apple Silicon)
8 GB RAMLlama 3.2 3B / Mistral 7B Q4_K_M10–25 tok/s30–80 tok/s
16 GB RAMLlama 3.1 8B / Qwen2.5 14B Q4_K_M8–18 tok/s50–80 tok/s
Apple M-series (8–18 GB)hasta 13B en memoria unificada50–80 tok/s
Intel Iris Xe / AMD iGPU3B–7B (solo CPU)8–20 tok/sn/a

Key Takeaways

  • Un modelo 3B o 7B con cuantización Q4_K_M funciona de forma utilizable en cualquier portátil moderno con 8 GB de RAM.
  • Los MacBook con Apple Silicon (M1, M2, M3, M4) superan a la mayoría de portátiles Windows en inferencia local gracias a la memoria unificada y la aceleración GPU Metal -- un MacBook Pro M3 ejecuta un modelo 7B a 50–80 tok/seg.
  • El throttling térmico reduce la velocidad un 20–40% después de 10–15 minutos de generación sostenida. Usa un soporte para portátil y desactiva Turbo Boost para mantener una velocidad estable.
  • Consumo de batería: espera entre un 30–60% por hora durante la inferencia activa en la mayoría de portátiles. Conecta a la corriente para sesiones largas.
  • En portátiles Windows/Linux con 8 GB de RAM: usa modelos Q4_K_M hasta 7B. Con 16 GB: modelos Q4_K_M hasta 13B, o Q5_K_M para 7B.

Los portátiles pueden ejecutar LLMs locales: MacBook Pro Apple Silicon (M3/M4/M5) es el mejor con 50–80 tok/s en modelos 7B; mínimo 8 GB RAM para 7B, 16 GB para 13B; esperar una pérdida de velocidad del 20–40% por throttling térmico tras 10–15 min de inferencia sostenida.

El cuello de botella principal para IA local en portátiles es la RAM — el modelo debe caber completamente en memoria. El throttling térmico ralentiza el chip para evitar el sobrecalentamiento. Usa un soporte refrigerador o una cuantización más baja (Q4_K_S en vez de Q4_K_M) para reducir el calor.

En una frase

Un LLM local puede ejecutarse en un portátil usando modelos cuantizados, reduciendo el uso de memoria hasta un 75% mientras se mantiene una calidad de salida utilizable.

En términos sencillos

Ejecutar un LLM localmente es como instalar ChatGPT en tu portátil — pero más lento y completamente privado.

¿Cuándo deberías ejecutar un LLM en un portátil?

  • Usa LLMs locales si: Necesitas privacidad total de los datos, Trabajas sin conexión, Quieres cero coste de API
  • NO uses si: Necesitas alta precisión en razonamiento complejo, Requieres contexto largo (más de 100k tokens), Necesitas procesamiento por lotes rápido — ver limitaciones de LLM local

¿Puedes ejecutar un LLM local en un portátil?

Sí -- con el tamaño de modelo correcto. Un portátil con 8 GB de RAM ejecutando un modelo 7B con cuantización Q4_K_M produce 10–25 tokens/seg en CPU y 50–80 tokens/seg en Apple Silicon. Esto es lento comparado con APIs en la nube, pero suficientemente rápido para uso interactivo.

El techo práctico en la mayoría de portátiles de 8 GB es un modelo 7B. Un modelo 13B en Q4_K_M requiere aproximadamente 9 GB de RAM -- técnicamente posible en máquinas de 16 GB, pero deja poco margen para el sistema operativo y otras aplicaciones.

Para conocer benchmarks de velocidad detallados por nivel de hardware (solo CPU hasta 16 GB de VRAM), consulta **LLMs locales más rápidos para PCs de gama baja** — incluye los compromisos de cuantización y comandos de Ollama para cada nivel.

Ollama ejecutando Mistral Small en un MacBook -- 22 tokens/seg en CPU con cuantización Q4_K_M.
Ollama ejecutando Mistral Small en un MacBook -- 22 tokens/seg en CPU con cuantización Q4_K_M.

¿Puedes ejecutar RAG (recuperación) en un portátil?

Sí -- RAG funciona cómodamente en un portátil, porque la restricción determinante sigue siendo el modelo de chat, no la capa de recuperación. Un stack RAG en portátil tiene tres partes: un modelo de embeddings pequeño, un almacén de vectores local y tu modelo de chat.

El modelo de embeddings es pequeño -- normalmente unos pocos cientos de MB -- así que añade poca presión de RAM. En un portátil de 8 GB puedes ejecutar cómodamente un modelo de chat 3B más un modelo de embeddings pequeño; con 16 GB tienes margen para un modelo de chat 7B junto a la recuperación.

2 GB de RAM no es realmente utilizable para RAG. Después del SO, no hay espacio para un modelo de chat y un modelo de embeddings sin un swap intenso, lo que baja la inferencia a 1–3 tok/s. Planifica 8 GB como el mínimo práctico.

¿Qué configuración de portátil necesitas para tu caso de uso?

  • Para principiantes — 8 GB de RAM, modelos 3B–7B, solo CPU. Espera 10–20 tok/seg. Suficiente para chat, resumen y código sencillo.
  • Para desarrolladores — 16 GB de RAM, modelos 7B–13B, GPU opcional. Multitarea posible sin cerrar otras apps.
  • Para usuarios avanzados — Apple Silicon o portátil GPU (8 GB VRAM), modelos 13B. 50–90 tok/seg de inferencia sostenida.

¿Quién puede ejecutar un LLM local en un portátil?

  • PrincipiantesLM Studio + modelo 3B
  • IntermediosOllama + modelo 7B
  • Usuarios avanzados → 13B con ajuste de cuantización
  • NO uses un portátil si: Necesitas APIs en tiempo real (usa servidor vLLM), Procesas grandes conjuntos de datos (usa GPUs en la nube)

¿Qué tamaño de modelo LLM local necesitas?

Requisitos de RAM con cuantización Q4_K_M — aproximadamente un 75% menos de RAM que la precisión fp16 completa. Siempre añade 2–4 GB de margen para el SO y el navegador:

ModeloRAM necesariaVelocidadCalidadMejor uso
Llama 3.2 3B4–8 GBRápida (25–45 tok/s)MediaTareas básicas, chat, resumen
Mistral Small8–16 GBMedia (10–20 tok/s)AltaUso general, código, razonamiento
Llama 3.3 13B16+ GBLenta (5–10 tok/s)Más altaTareas avanzadas, razonamiento complejo

Ejemplo de memoria Q4_K_M: Mistral Small fp16 = 14 GB; Q4_K_M = 4,5 GB (~68% de reducción). Latencia CPU en un portátil promedio: 1–3 tok/s para 13B, 10–25 tok/s para 7B, 25–45 tok/s para 3B. → calculadora VRAM

Portátil con 8 GB de RAM vs 16 GB de RAM: ¿cuál es la diferencia práctica?

Escenario8 GB RAM16 GB RAM
Tamaño máximo del modelo7B en Q4_K_M (~4,5 GB)13B en Q4_K_M (~9 GB)
Modelo con el navegador abierto3B–7B (justo)7B–13B cómodamente
Primer modelo recomendadollama3.2:3b o mistral:7bllama3.1:8b o qwen2.5:14b
Apps simultáneasCierra el navegador antes de cargar el modelo 7BMultitarea normal + modelo 7B

¿Qué modelos LLM locales funcionan mejor en un portátil?

Estos modelos se han seleccionado específicamente para las limitaciones de los portátiles -- equilibrando calidad, uso de RAM y velocidad de generación sostenida. Para una guía detallada sobre los requisitos de VRAM para diferentes modelos y configuraciones de portátil, consulta la guía de requisitos VRAM →. Instala Ollama para ejecutar cualquiera de estos con un solo comando. ¿Ejecutas sin ninguna GPU? Consulta la guía dedicada: **Mejores LLMs locales solo para CPU 2026**.

ModeloRAMVelocidad (CPU)CalidadMejor para
Llama 3.2 3B2,5 GB25–45 tok/sMediaPortátiles de 8 GB, tareas rápidas
Phi-4-mini 3.8B3 GB20–35 tok/sMedia-AltaPortátiles de 8 GB, razonamiento/código
Mistral Small v0.34,5 GB10–20 tok/sAlta8–16 GB, uso general
Qwen3 7B4,7 GB10–18 tok/sAlta8–16 GB, multilingüe, código
Llama 3.3 8B5,5 GB8–15 tok/sAlta+Portátiles de 16 GB, mejor calidad en ese tamaño

🏆 Mejor configuración de LLM local para portátiles

El hardware del portátil limita el tamaño del modelo, pero la ingeniería de prompts elimina el techo de calidad de salida. Un modelo 7B con prompts estructurados supera consistentemente a un modelo 13B mal promoteado. Consulta la guía de ingeniería de prompts para técnicas optimizadas para modelos más pequeños.

  • 🥇 Mejor en general: Ollama — configuración más rápida, amplio soporte de modelos
  • 🥈 Mejor para principiantes: LM Studio — interfaz gráfica, sin terminal
  • 🥉 Mejor para RAM bajo (8 GB): Llama 3.2 3B (Q4)
  • Mejor rendimiento: Mistral Small (Q5 o Q6)
  • 💡 Si no sabes por dónde empezar: comienza con Ollama + Llama 3.2 3B Q4

Apple Silicon vs portátil Windows: ¿cuál es mejor para LLMs locales?

Los MacBook con Apple Silicon (M1 a M4) son los mejores portátiles de consumo para inferencia local de LLMs. La arquitectura de memoria unificada significa que la GPU y la CPU comparten el mismo banco de memoria -- un MacBook Pro M3 con 18 GB de memoria puede ejecutar un modelo 13B íntegramente en memoria GPU, alcanzando 50–80 tok/seg.

Los portátiles Windows con GPUs NVIDIA discretas pueden ser más rápidos si el VRAM es suficiente (8 GB o más). Una GPU NVIDIA RTX 4060 para portátil (8 GB VRAM) ejecuta un modelo 7B a 60–90 tok/seg -- comparable al Apple M3 Pro. El inconveniente es un mayor consumo de batería y generación de calor.

Los portátiles Windows con gráficos integrados Intel Iris Xe o AMD Radeon usan solo inferencia por CPU, lo que resulta en 8–20 tok/seg para modelos 7B.

Mejores modelos para gráficos integrados (Intel Iris Xe / AMD Radeon): Con 16 GB de RAM, el punto óptimo es un modelo 3B–7B en Q4_K_M. Llama 3.2 3B funciona en la parte alta del rango de 8–20 tok/seg, mientras que Mistral Small (7B) se sitúa en la parte baja pero ofrece una calidad notablemente mejor. La GPU integrada no acelera la inferencia aquí -- el trabajo lo hace la CPU -- así que prioriza un modelo que se mantenga cómodamente dentro de la RAM en lugar de buscar un tamaño mayor. Para una configuración de gama baja paso a paso, consulta LLMs locales más rápidos para PCs de gama baja.

Tipo de portátilVelocidad (7B)Consumo bateríaModelo máximo
Apple M3 Pro (18 GB)50–80 tok/sModerado~13B
Apple M2 (8 GB)30–50 tok/sModerado~7B
NVIDIA RTX 4060 portátil (8 GB VRAM)60–90 tok/sAlto~7B (GPU), ~13B (offload CPU)
Intel i7 + Iris Xe (16 GB RAM)8–15 tok/sModerado~13B
AMD Ryzen 7 + GPU integrada (16 GB)10–18 tok/sModerado~13B
La memoria unificada de Apple Silicon permite a la GPU acceder a todo el banco de RAM -- un modelo 13B cabe íntegramente en la memoria GPU de un M3 Pro de 18 GB.
La memoria unificada de Apple Silicon permite a la GPU acceder a todo el banco de RAM -- un modelo 13B cabe íntegramente en la memoria GPU de un M3 Pro de 18 GB.

¿Es suficiente un portátil para LLMs locales frente a un escritorio?

Los portátiles ejecutan modelos 3B–13B eficazmente, pero los escritorios los superan gracias a mejor refrigeración y GPUs dedicadas. Un escritorio con RTX 4090 (24 GB VRAM) ejecuta un modelo 70B a 40–60 tok/seg; un portátil con la misma tarea requiere inferencia por CPU a 1–3 tok/seg.

Usa un portátil para la portabilidad y experimentación. Usa un escritorio para modelos grandes (13B+), cargas de trabajo sostenidas o inferencia en producción. ¿Dudas entre plataformas? Consulta la guía de compra portátil vs escritorio para LLMs locales para un análisis completo de coste y rendimiento.

¿Cómo gestionar el throttling térmico en un portátil?

El throttling térmico ocurre cuando la CPU o GPU alcanza su límite de temperatura y reduce la velocidad de reloj para enfriarse. En la inferencia local de LLMs, esto suele ocurrir después de 10–15 minutos de generación sostenida, reduciendo la velocidad un 20–40%.

  • Usa un soporte para portátil con espacio de ventilación -- elevar el portátil 2–3 cm mejora el flujo de aire de escape y retrasa el inicio del throttling de 10 a más de 20 minutos.
  • Desactiva Intel Turbo Boost / AMD Precision Boost -- funcionar a velocidad de reloj base produce rendimiento estable sin picos térmicos. En macOS, instala `cpufreq` o usa el modo "Bajo consumo" en los ajustes de batería.
  • Limita el tamaño del lote de generación -- evita regenerar respuestas muy largas. Divide las tareas largas en prompts más cortos.
  • Usa Q4_K_M en lugar de Q8_0 -- una cuantización menor requiere menos cómputo por token, generando menos calor a costa de una calidad marginal.
Elevar el portátil 2–3 cm sobre un soporte mejora el flujo de aire de escape y retrasa el inicio del throttling de 10 a más de 20 minutos.
Elevar el portátil 2–3 cm sobre un soporte mejora el flujo de aire de escape y retrasa el inicio del throttling de 10 a más de 20 minutos.

¿Cuánta batería consume ejecutar un LLM local?

El consumo de batería durante la inferencia local es significativo. La inferencia activa por CPU en un modelo 7B consume 15–25 W en una CPU de portátil típica, reduciendo la duración de la batería a 2–3 horas desde carga completa en una batería de 60 Wh.

Apple Silicon es notablemente más eficiente. Un MacBook Pro M3 ejecutando un modelo 7B consume aproximadamente 12–18 W durante la inferencia, ofreciendo 3–4 horas de generación activa desde carga completa.

Para sesiones largas, conecta a la corriente. Si necesitas inferencia local eficiente en batería, usa un modelo 3B en Q4_K_M -- consume 6–10 W y extiende la duración de la batería a 5–6 horas en la mayoría de portátiles.

¿Qué nivel de cuantización deberías usar en un portátil?

La cuantización reduce la precisión del modelo para bajar los requisitos de RAM y cómputo. Para portátiles, Q4_K_M es el valor predeterminado recomendado:

CuantizaciónRAM vs completoPérdida de calidadCaso de uso
Q2_K~25%Alta -- degradación notableSolo con RAM extremadamente bajo
Q3_K_S~35%ModeradaMenos de 4 GB de RAM
Q4_K_M~45%Baja -- predeterminado recomendadoLa mayoría de portátiles, mejor equilibrio
Q5_K_M~55%MínimaPortátiles con 16 GB de RAM
Q8_0~80%Insignificante32 GB de RAM o GPU con 8+ GB de VRAM

¿Qué leyes de privacidad aplican al ejecutar LLMs locales en un portátil?

Unión Europea (RGPD): Ejecutar un LLM local en un portátil significa que toda la inferencia ocurre en el dispositivo -- no sale ningún dato del equipo. Esto cumple con el artículo 25 del RGPD (protección de datos desde el diseño) y elimina la necesidad de acuerdos de tratamiento de datos. Los profesionales del sector legal, médico y financiero en la UE pueden procesar datos sensibles de clientes localmente sin la sobrecarga de cumplimiento de las APIs en la nube.

España (LOPDGDD / AEPD): La Ley Orgánica de Protección de Datos y Garantía de los Derechos Digitales (LOPDGDD) exige garantías para el tratamiento de datos personales. La inferencia local en un portátil cumple con los principios de minimización de datos y privacidad por diseño, especialmente relevante para pymes y autónomos que manejan datos de clientes.

Latinoamérica: Países como México (LFPDPPP), Argentina (Ley 25.326) y Brasil (LGPD) tienen leyes de protección de datos que imponen restricciones a la transferencia internacional de datos. Ejecutar la inferencia de LLMs localmente en un portátil elimina el riesgo de transferencia transfronteriza, siendo adecuado para empresas que manejan datos de clientes bajo estas normativas.

Estados Unidos: No existe una ley federal de datos de IA a abril de 2026, pero se aplican normas sectoriales: HIPAA para sanidad (la inferencia local evita los requisitos de BAA), FERPA para educación y leyes de privacidad estatales (CCPA en California). La inferencia local en portátil es la opción más segura para sectores regulados.

Preguntas frecuentes sobre LLMs locales en portátiles

¿Cuáles son los mejores modelos de Ollama para Intel Iris Xe con 16 GB de RAM?

En un portátil con gráficos integrados Intel Iris Xe y 16 GB de RAM, la inferencia se ejecuta en la CPU (Iris Xe no la acelera), así que elige un modelo 3B–7B en Q4_K_M. Llama 3.2 3B es el más rápido, en la parte alta del rango de 8–20 tok/seg; Mistral Small (7B) es más lento pero de mayor calidad. Ejecuta cualquiera con `ollama run llama3.2:3b` o `ollama run mistral`.

¿Puedes ejecutar RAG localmente en un portátil?

Sí. Un stack RAG en portátil es un modelo de embeddings pequeño más un almacén de vectores local más tu modelo de chat. El modelo de embeddings ocupa solo unos pocos cientos de MB, por lo que el modelo de chat sigue siendo la restricción determinante de RAM — un portátil de 8 GB ejecuta cómodamente un modelo de chat 3B con recuperación. Consulta la sección de RAG en un portátil más arriba para el desglose de RAM.

¿Cuál es el mejor LLM local solo para CPU en un portátil?

Para portátiles solo con CPU, Llama 3.2 3B (25–45 tok/seg) y Mistral Small 7B (10–20 tok/seg) en Q4_K_M son el mejor equilibrio entre velocidad y calidad. Para una comparación completa y clasificada y los comandos de Ollama, consulta la guía dedicada: Mejores LLMs locales solo para CPU 2026.

¿Ejecutar un LLM local dañará mi portátil con el tiempo?

No -- las CPUs y GPUs modernas están diseñadas para manejar cargas altas sostenidas de forma segura mediante el throttling térmico. Ejecutar inferencia durante horas equivale a codificar vídeo o jugar. Un soporte para portátil y ventilación adecuada previenen la acumulación excesiva de calor. El número de ciclos de batería aumenta con la carga prolongada enchufada, lo que es un patrón de desgaste normal.

¿Puedo ejecutar un LLM local en un portátil con 4 GB de RAM?

Apenas. Un modelo 2B como Gemma 2 2B requiere aproximadamente 1,7 GB de RAM para el modelo, pero el SO necesita 2–3 GB simultáneamente. Con 4 GB totales de RAM, es probable que experimentes uso de swap, lo que hace la inferencia 5–10 veces más lenta. El mínimo práctico para una experiencia utilizable es 8 GB.

¿Mi portátil necesita una GPU dedicada para ejecutar LLMs locales?

No. Todas las herramientas principales de LLM local (Ollama, LM Studio, GPT4All) funcionan únicamente en CPU. Una GPU dedicada acelera significativamente la inferencia, pero los modelos 3B–7B son utilizables a 10–30 tok/seg solo con CPU. Consulta Mejores modelos LLM locales para principiantes para recomendaciones de modelos optimizados para CPU.

¿Cuál es el LLM local más rápido que puedo ejecutar en un MacBook de 8 GB?

En un MacBook de 8 GB con Apple Silicon (M1, M2, M3), el modelo práctico más rápido es llama3.2:3b en Q4_K_M -- espera 60–100 tok/seg vía Metal GPU. Para calidad a velocidad, mistral:7b funciona a 30–50 tok/seg en un M2 de 8 GB con el modelo completo en memoria unificada.

¿Cómo reduzco el throttling térmico en un portátil durante la inferencia de LLMs?

Tres pasos: (1) Usa un soporte para portátil con 2–3 cm de espacio de ventilación bajo el equipo. (2) Desactiva Turbo Boost en Intel o AMD Precision Boost -- funcionar a velocidad de reloj base elimina los picos térmicos. (3) Usa cuantización Q4_K_M en lugar de Q8_0 para reducir el cómputo por token y la generación de calor.

¿Puedo ejecutar un LLM local en un Chromebook?

Solo en Chromebooks con Linux (Crostini) habilitado. La mayoría de Chromebooks tienen 4–8 GB de RAM y CPUs débiles -- puedes ejecutar un modelo 2B–3B en Q4_K_M, pero espera 5–15 tok/seg. Los Chromebooks sin soporte de Linux no pueden ejecutar LLMs locales.

¿Es Apple Silicon mejor que una GPU NVIDIA para portátil en LLMs locales?

Depende del VRAM. Un M3 Pro (18 GB de memoria unificada) supera a una NVIDIA RTX 4060 para portátil (8 GB VRAM) en modelos 13B porque el modelo completo cabe en memoria rápida. Para modelos 7B, ambos son comparables -- 50–80 tok/seg en M3 Pro vs 60–90 tok/seg en RTX 4060. Apple Silicon gana en eficiencia de batería (12–18 W vs 25–45 W).

¿Qué ocurre si el modelo es demasiado grande para la RAM del portátil?

Ollama y LM Studio usarán memoria swap (RAM respaldada en disco). La inferencia se ralentiza a 1–5 tok/seg en lugar de 10–30 tok/seg, y el ventilador del portátil funciona a máxima velocidad por la presión de memoria constante. La solución: usa un modelo más pequeño o un nivel de cuantización menor (Q4_K_M en lugar de Q8_0).

¿Cuánto dura la batería ejecutando LLMs locales en un portátil?

En una batería típica de 60 Wh: un modelo 7B en CPU consume 15–25 W -- dando 2–3 horas de inferencia activa. Apple Silicon es más eficiente (12–18 W), dando 3–4 horas. Un modelo 3B consume 6–10 W y extiende la batería a 5–6 horas. Para uso de día completo, conecta a la corriente.

¿Necesito conexión a internet para ejecutar un LLM local en un portátil?

No. Después de descargar el modelo (lo que requiere internet), la inferencia es completamente offline. El modelo se ejecuta íntegramente en la CPU o GPU del portátil. Esto hace que los LLMs locales sean útiles para viajes, entornos seguros o lugares con conectividad poco fiable.

¿Puedo ejecutar un LLM local con 8 GB de RAM?

Sí. Un portátil de 8 GB ejecuta modelos 7B con cuantización Q4_K_M (4,5 GB) a 10–25 tok/seg en CPU, o 30–80 tok/seg en Apple Silicon.

¿Cuál es el portátil más rápido para LLMs locales?

Apple MacBook Pro M4 Pro/Max con 24–48 GB de memoria unificada alcanza 80–120 tok/seg en modelos 13B. En Windows, una GPU NVIDIA RTX 4070/4090 para portátil (8–16 GB VRAM) logra 60–130 tok/seg en modelos 7B.

¿Necesito una GPU para LLMs locales?

No — Ollama y LM Studio funcionan solo en CPU. Una GPU acelera la inferencia de 10–25 tok/seg a 50–90 tok/seg en modelos 7B, pero no es obligatoria.

¿Qué tan lentos son los LLMs locales en CPU?

Un modelo 7B en Q4_K_M funciona a 10–25 tok/seg en una CPU de portátil moderna — suficientemente lento para leer mientras se genera, pero suficientemente rápido para chat y resumen. Apple Silicon alcanza 30–80 tok/seg usando la memoria unificada como GPU.

¿Ejecutar LLMs daña el portátil?

No. Las CPUs y GPUs están diseñadas para carga sostenida mediante throttling térmico. Un soporte para portátil con ventilación y descansos ocasionales previenen el calor excesivo; el ruido normal del ventilador no es señal de daño.

Fuentes

¿Cuáles son los errores comunes al ejecutar LLMs locales en portátiles?

  • Ejecutar un modelo demasiado grande para la RAM disponible → se usa swap en disco, ralentizando la inferencia de 10–25 tok/seg a 1–3 tok/seg.
  • Ignorar el throttling térmico → la velocidad sostenida cae un 20–40% después de 10–15 minutos de inferencia.
  • Usar Q8_0 en lugar de Q4_K_M → duplica el uso de RAM sin ganancia de calidad perceptible en hardware de portátil.
  • No habilitar la aceleración GPU en LM Studio → el rendimiento de Apple Silicon cae de 50–80 tok/seg a 10–20 tok/seg.
  • Usar la ventana de contexto predeterminada de 2.048 tokens en Ollama → los documentos de varias páginas se truncan; establece `num_ctx 8192` en tu Modelfile.

Nota sobre hechos de terceros

Este artículo hace referencia a modelos de IA, benchmarks, precios y licencias de terceros. El panorama de la IA cambia rápidamente. Las puntuaciones de benchmark, los términos de licencia, los nombres de modelos y los precios de API pueden cambiar entre el momento en que se escribió y cuando usted lo lee. Antes de tomar decisiones de despliegue o cumplimiento basadas en este artículo, verifique las cifras actuales en la fuente oficial de cada proveedor: tarjetas de modelos de Hugging Face para licencias y benchmarks, sitios web de proveedores para precios de API y EUR-Lex para el texto actualizado del RGPD y la Ley de IA de la UE. Este artículo refleja información públicamente disponible a mayo de 2026.

Run PromptQuorum with a local LLM, your own API keys, or both — you pick the backend.

Join the PromptQuorum Waitlist →

← Back to Local LLMs