Peut-on exécuter un LLM local sur un Raspberry Pi 5 ?
Cette page contient des liens de référence vers des produits tiers. PromptQuorum n'est inscrit à aucun programme d'affiliation — ce sont de simples liens qui ne génèrent aucune commission. Cliquer sur les liens et vos prochaines étapes relèvent entièrement de votre responsabilité. Ces liens ne représentent aucune approbation ou vérification par PromptQuorum.
Réponse rapide
Oui, mais uniquement de petits modèles — un Raspberry Pi 5 (8 Go) exécute des modèles 1B-3B en Q4 via llama.cpp sur son CPU, à environ 2-5 tokens/sec. Aucune accélération GPU n'est disponible.
- ▸Achetez le Raspberry Pi 5 en 8 Go — le modèle 4 Go laisse trop peu de marge, même pour un modèle 1B et le système d'exploitation.
- ▸Plage de modèles réaliste : Llama 3.2 1B/3B ou Qwen3 0.6B en Q4 — tout modèle plus grand est trop lent pour être utilisable.
- ▸Pas d'accélération GPU : llama.cpp ne prend pas en charge le GPU VideoCore VII du Pi 5 — tout s'exécute sur le CPU.
Mis à jour : 2026-07
Points clés
- ✓Oui, mais seulement des modèles 1B-3B en Q4 — tout modèle plus grand est trop lent sur le matériel du Pi 5
- ✓Achetez la configuration 8 Go — le modèle 4 Go laisse trop peu de marge pour le modèle et le système d'exploitation
- ✓Comptez environ 2-5 tokens/sec sur CPU — aucune accélération GPU n'existe via llama.cpp
- ✓Un Pi 5 est un projet d'apprentissage amusant, pas une machine de LLM local pratique au quotidien
La réponse honnête : uniquement de petits modèles, et lentement
Un Raspberry Pi 5 peut exécuter un LLM local, mais uniquement dans la plage de paramètres 1B-3B en quantification Q4 — des modèles comme Llama 3.2 1B, Llama 3.2 3B ou Qwen3 0.6B — à environ 2 à 5 tokens par seconde via llama.cpp. Cette vitesse est utilisable pour de l'expérimentation occasionnelle, mais nettement plus lente que la vitesse de frappe pour des réponses longues, et bien en deçà de toute machine équipée d'un GPU.
Achetez la configuration 8 Go, pas la version 4 Go. Même un modèle 1B avec la surcharge de Raspberry Pi OS laisse peu de marge sur 4 Go, et vous voudrez la mémoire supplémentaire pour une fenêtre de contexte confortable et tout autre logiciel s'exécutant en parallèle du modèle.
Aucune accélération GPU n'est disponible : le GPU VideoCore VII intégré du Pi 5 n'est pas pris en charge par les moteurs d'inférence de llama.cpp (aucun chemin Vulkan ou OpenCL ne le cible actuellement pour l'inférence LLM), donc chaque token est calculé sur le CPU ARM quadricœur. Considérez une installation de LLM local sur Pi 5 comme un projet éducatif ou un assistant très léger — pas un remplacement pour du matériel équipé d'un GPU, même d'entrée de gamme.
Raspberry Pi 5 face à l'alternative GPU la moins chère
Même le GPU le moins cher couvert dans le guide des GPU à moins de 300 $ exécute des modèles 7B à 15-20 tokens/sec — plusieurs fois plus rapide que le meilleur cas d'un Pi 5 sur des modèles bien plus petits. L'attrait du Pi 5 réside dans son faible encombrement, sa faible consommation et sa nouveauté, pas dans sa capacité brute.
Si votre objectif est un assistant LLM local réellement utile et disponible en permanence plutôt qu'un projet de loisir, un GPU d'occasion ou un mini PC est l'investissement le plus pratique — consultez le guide des GPU à moins de 300 $ ou le guide du mini PC pour serveur Ollama permanent.
Lectures complémentaires
- ▸Meilleur LLM local pour 6 Go de VRAM — une alternative GPU réellement pratique à petit budget
- ▸De combien de RAM un modèle 7B a-t-il besoin ? — pourquoi le 7B est hors de portée pour un Pi 5
- ▸Meilleur mini PC pour un serveur Ollama permanent — une alternative permanente plus pratique
Questions fréquentes
Le Raspberry Pi 5 a-t-il besoin d'un refroidissement actif pour l'inférence LLM ?▾
Puis-je utiliser un accélérateur IA pour accélérer le Pi 5 ?▾
Un Raspberry Pi 5 convient-il pour un assistant vocal avec un LLM local ?▾
Quelle est la RAM minimale pour un LLM local sur un Pi 5 ?▾
Prompt Bites associés