É Possível Rodar um LLM Local em um Raspberry Pi 5?

Configuração Econômica: Raspberry Pi 5 Sozinho

Um Raspberry Pi 5 puro (8GB) roda modelos de 1B-3B parâmetros com quantização Q4 através do Ollama ou llama.cpp — modelos como Llama 3.2 1B, Llama 3.2 3B ou Qwen3 1.7B. Tudo roda na CPU quad-core: a GPU VideoCore integrada do Pi 5 não é um acelerador prático para o llama.cpp, então não há ganho relevante de GPU na placa pura.

Benchmarks da comunidade colocam modelos pequenos em Q4 em aproximadamente 4-9 tokens por segundo na CPU do Pi 5, dependendo do modelo exato e do runtime — visivelmente mais lento que a inferência em GPU de desktop, mas utilizável para consultas curtas e experimentação casual.

Melhor para: assistentes offline para consultas simples, experimentos com Home Assistant, scripts de automação e aprender como funciona a inferência local. Compre a configuração de 8GB — o modelo de 4GB deixa espaço demasiado pequeno para um modelo mais o Raspberry Pi OS.

Melhor: Pi 5 + Raspberry Pi AI HAT+ 2

O Raspberry Pi AI HAT+ 2 oficial transforma um Pi 5 em um sistema de IA de borda feito sob medida, adicionando uma NPU Hailo-10H e 8GB de memória dedicada. A própria documentação da Raspberry Pi confirma suporte a GenAI/LLM através de um Hailo GenAI Model Zoo, incluindo um servidor Hailo Ollama que você pode consultar pela rede ou por uma interface de chat baseada em navegador.

O Hailo-10H entrega 40 TOPS de desempenho de inferência INT4 e vem com vários modelos pequenos prontos para uso (aproximadamente 1B-1,5B parâmetros, incluindo variantes de Qwen2 e Llama 3.2) — um caminho notavelmente diferente e mais rápido que a inferência somente por CPU para quem quer um dispositivo de IA de borda de verdade, não um experimento hobby.

Compre essa configuração se você quer aceleração GenAI dedicada e está confortável com uma pilha de software ainda em amadurecimento — a Raspberry Pi lançou o AI HAT+ 2 em janeiro de 2026, e a versão de pacote documentada pode ficar atrás do próprio ritmo de lançamentos da Hailo.

Pi 5 vs Pi 5 + AI HAT+ 2 vs um PC com GPU

Adicionar o AI HAT+ 2 fecha parte da distância para uma GPU, mas uma GPU dedicada ou um PC com GPU ainda vence em tamanho de modelo e velocidade bruta.

Resfriamento para Inferência Sustentada

Inferência sustentada e pesada de CPU ou NPU deixa o dispositivo mais quente que o uso casual — o cooler ativo oficial da Raspberry Pi (um dissipador de encaixe com ventoinha controlada por temperatura) é uma adição barata e bem documentada se você planeja rodar inferência por períodos prolongados em vez de testes breves.

Armazenamento NVMe para um Servidor Sempre Ligado

Se o Pi virar um servidor de IA local sempre ligado, o armazenamento NVMe via o Raspberry Pi M.2 HAT+ oficial (que usa a interface PCIe do Pi 5) é mais confiável sob carga sustentada de leitura/escrita do que um cartão microSD — vale a pena adicionar assim que você passar da fase de testes casuais.

O Que Você Pode Realmente Construir?

Uma configuração de LLM local no Pi 5 serve para experimentos de assistente doméstico privado, integrações de automação residencial (veja nosso guia para construir um assistente de voz local para expectativas realistas de latência em hardware classe Pi), classificação simples de documentos e serviços offline sempre ligados que não precisam de respostas rápidas.

Conclusão

Mais barato: um Pi 5 8GB puro para modelos de 1B-3B e experimentação. Melhor configuração de IA baseada em Pi: Pi 5 + o AI HAT+ 2 oficial para aceleração dedicada Hailo-10H. Melhor desempenho geral: um PC com GPU ou um mini PC feito para LLM local — para modelos de 7B ou mais, nenhuma configuração de Pi chega perto.

Leitura Relacionada

• ▸Melhor LLM Local para 6 GB de VRAM — uma alternativa de GPU de baixo orçamento genuinamente prática
• ▸Quanta RAM um Modelo de 7B Precisa? — por que 7B está fora de alcance para a CPU de um Pi 5
• ▸Melhor Mini PC para um Servidor Ollama Sempre Ligado — uma alternativa mais prática sempre ligada
• ▸Construir um Assistente de Voz Local — latência realista entre os níveis de hardware Pi, mini PC e GPU