Key Takeaways
- Notebooks de 8 GB de RAM: use modelos 3B–7B em Q4_K_M. Velocidade na CPU: 10–25 tok/s.
- Apple Silicon M3/M4: 50–80 tok/s com Metal. O melhor hardware de notebook para LLMs locais.
- Intel Iris Xe: sem aceleração de GPU para LLMs. Somente CPU.
- Throttling térmico reduz a velocidade em 20–40% após 10–15 minutos. Use base de resfriamento.
- Recomendação para 8 GB: `ollama run llama3.2:3b`. Para 16 GB: `ollama run llama3.2:7b`.
Notebooks podem rodar LLMs locais: MacBook Pro Apple Silicon (M3/M4/M5) é o melhor com 50–80 tok/s em modelos 7B; mínimo 8 GB RAM para 7B, 16 GB para 13B; espere queda de 20–40% de velocidade por throttling térmico após 10–15 min.
O principal gargalo para IA local em notebooks é a RAM — o modelo precisa caber inteiramente na memória. Throttling térmico é quando o chip desacelera para evitar superaquecimento. Use um suporte resfriador ou quantização menor (Q4_K_S em vez de Q4_K_M) para reduzir calor.