Kann man ein lokales LLM auf einem Raspberry Pi 5 betreiben?
Diese Seite enthält Verweislinks zu Produkten von Drittanbietern. PromptQuorum ist an keinem Partnerprogramm beteiligt — es sind reine Referenzlinks, die keine Provision erzielen. Das Anklicken von Links und Ihre nächsten Schritte liegen in Ihrer eigenen Verantwortung. Diese Links stellen keine Billigung oder Verifizierung durch PromptQuorum dar.
Schnelle Antwort
Ja, aber nur winzige Modelle — ein Raspberry Pi 5 (8GB) läuft 1B-3B-Modelle bei Q4 via llama.cpp auf seiner CPU, mit etwa 2-5 Tokens/Sek. Keine GPU-Beschleunigung verfügbar.
- ▸Kaufen Sie das 8-GB-Raspberry-Pi-5-Modell — das 4-GB-Modell lässt selbst für ein 1B-Modell plus Betriebssystem zu wenig Reserve.
- ▸Realistischer Modellbereich: Llama 3.2 1B/3B oder Qwen3 0,6B bei Q4 — alles Größere ist unpraktisch langsam.
- ▸Keine GPU-Beschleunigung: llama.cpp unterstützt die VideoCore-VII-GPU des Pi 5 nicht — alles läuft auf der CPU.
Aktualisiert: 2026-07
Wichtigste Punkte
- ✓Ja, aber nur 1B-3B-Modelle bei Q4 — alles Größere ist auf Pi-5-Hardware unpraktisch langsam
- ✓Kaufen Sie die 8-GB-Konfiguration — das 4-GB-Modell lässt zu wenig Reserve für Modell plus Betriebssystem
- ✓Rechnen Sie mit etwa 2-5 Tokens/Sek. auf der CPU — kein GPU-Beschleunigungspfad existiert via llama.cpp
- ✓Ein Pi 5 ist ein unterhaltsames Lernprojekt, keine praktische Alltags-LLM-Maschine
Die ehrliche Antwort: nur kleine Modelle, und langsam
Ein Raspberry Pi 5 kann ein lokales LLM betreiben, aber nur im Bereich 1B-3B Parameter bei Q4-Quantisierung — Modelle wie Llama 3.2 1B, Llama 3.2 3B oder Qwen3 0,6B — mit etwa 2-5 Tokens pro Sekunde über llama.cpp. Diese Geschwindigkeit ist für lockeres Experimentieren nutzbar, aber merklich langsamer als Tippgeschwindigkeit bei längeren Antworten und weit hinter jeder GPU-ausgestatteten Maschine.
Kaufen Sie die 8-GB-Konfiguration, nicht die 4-GB-Variante. Selbst ein 1B-Modell plus Raspberry-Pi-OS-Overhead lässt auf 4 GB wenig Reserve, und Sie werden den zusätzlichen Speicher für ein komfortables Kontextfenster und andere parallel laufende Software wollen.
Es gibt keinen verfügbaren GPU-Beschleunigungspfad: Die integrierte VideoCore-VII-GPU des Pi 5 wird von den Inferenz-Backends von llama.cpp nicht unterstützt (derzeit zielt kein Vulkan- oder OpenCL-Pfad für LLM-Inferenz darauf ab), sodass jedes Token auf dem Quad-Core-ARM-CPU berechnet wird. Betrachten Sie ein Pi-5-Setup für lokale LLMs als Lernprojekt oder sehr leichten Assistenten — nicht als Ersatz für GPU-ausgestattete Hardware, selbst eine günstige.
Raspberry Pi 5 vs. die günstigste GPU-Alternative
Selbst die günstigste im Sub-300-$-GPU-Guide behandelte GPU läuft 7B-Modelle mit 15-20 Tokens/Sek. — mehrfach schneller als das beste Ergebnis eines Pi 5 bei Modellen einem Bruchteil der Größe. Der Reiz des Pi 5 liegt in seiner kleinen Grundfläche, dem niedrigen Stromverbrauch und der Neuheit, nicht in roher Leistungsfähigkeit.
Ist Ihr Ziel ein wirklich nützlicher, dauerhaft laufender lokaler LLM-Assistent statt eines Hobbyprojekts, ist eine gebrauchte GPU oder ein Mini-PC die praktischere Investition — siehe den Sub-300-$-GPU-Guide oder den Guide zum dauerhaft laufenden Ollama-Server-Mini-PC.
Weiterführende Artikel
- ▸Bestes lokales LLM für 6 GB VRAM — eine wirklich praktische Low-Budget-GPU-Alternative
- ▸Wie viel RAM braucht ein 7B-Modell? — warum 7B für einen Pi 5 außer Reichweite ist
- ▸Bester Mini-PC für einen dauerhaft laufenden Ollama-Server — eine praktischere, dauerhaft laufende Alternative
Häufig gestellte Fragen
Braucht der Raspberry Pi 5 aktive Kühlung für LLM-Inferenz?▾
Kann ich einen KI-Beschleuniger-Hat zur Beschleunigung des Pi 5 nutzen?▾
Ist ein Raspberry Pi 5 gut für einen Sprachassistenten mit lokalem LLM?▾
Was ist das minimale RAM für ein lokales LLM auf einem Pi 5?▾
Verwandte Prompt Bites