Können CPUs LLMs ausführen?
Ja, moderne CPUs (zum Beispiel Intel Core der 10. Generation oder neuer, AMD Ryzen 5000 oder neuer, Apple M-Serie) können 3–8B-Modelle mit geschätzt 8–30 Token/Sekunde bei Dual-Channel-RAM ausführen. Das ist typischerweise 5–10-mal langsamer als eine dedizierte GPU oder mehr, braucht aber kein VRAM. Ein PC mit 8–32 GB Arbeitsspeicher kann Modelle ausführen, für die sonst eine dedizierte Grafikkarte nötig wäre.
CPU-Inferenz tauscht Geschwindigkeit gegen Zugänglichkeit: keine GPU-Treiberinstallation und keine VRAM-Grenze, nur Arbeitsspeicher. Für alltägliche Einsatzfälle (ein Chatbot für einen Nutzer, Offline-Dokumentenverarbeitung) ist der reine CPU-Betrieb praxistauglich.
Die Geschwindigkeit wird von der Speicherbandbreite bestimmt, nicht vom Takt: Für jedes erzeugte Token wird die gesamte Modelldatei einmal aus dem RAM gelesen, also Token pro Sekunde ≈ Speicherbandbreite ÷ Dateigröße (eine Obergrenze; die reale Geschwindigkeit liegt darunter). llama.cpp, auf dem Ollama aufbaut, nutzt zudem CPU-Vektorbefehle wie AVX2 oder ARM NEON, sofern der Prozessor sie unterstützt.
📍 In einem Satz
Moderne CPUs können 3B–8B-LLMs mit Q4_K_M-Quantisierung und llama.cpp oder Ollama je nach RAM-Geschwindigkeit und Modellgröße mit geschätzt 8–30 Token pro Sekunde ausführen.
💬 In einfachen Worten
Ja. Ein typischer Laptop oder Desktop-PC mit genug RAM kann ein kleines KI-Modell lokal ohne GPU ausführen. Es ist langsamer als mit einer GPU, aber schnell genug für Aufgaben, bei denen Sie nicht in Echtzeit warten müssen.
Welche CPU-only-LLMs sind 2026 die besten?
Unter den fünf hier verglichenen Modellen ist Phi-4 Mini (3,8B, Q4_K_M) 2026 die beste Allround-Wahl für reinen CPU-Betrieb: geschätzt 15–25 Tok/s bei Dual-Channel-RAM aus einer 2,5 GB großen Datei. Die Tabelle listet die fünf Modelle nach Dateigröße, RAM-Bedarf und geschätzter Geschwindigkeit. Die Geschwindigkeiten sind eigene PromptQuorum-Schätzungen, abgeleitet aus der Obergrenze der Speicherbandbreite (Dual-Channel-DDR4-3200 = 51,2 GB/s, DDR5-5600 = 89,6 GB/s, geteilt durch die Ollama-Dateigröße), für einen Desktop mit 16 GB Dual-Channel-RAM; es sind keine Labormessungen. Single-Channel-RAM halbiert das Ergebnis. Bei Gemma 4 E2B ist die Schätzung am unsichersten, weil ein Teil der 4,6 GB großen Datei aus Embedding-Tabellen besteht; prüfen Sie die Geschwindigkeit auf Ihrem eigenen Rechner mit `ollama run <model> --verbose`.
Modell | Parameter | Datei (Ollama) | Min. RAM | Geschätzt Tok/s | Am besten für |
|---|---|---|---|---|---|
| Phi-4 Mini | 3,8B | 2,5 GB | 3 GB | 15–25 | Allgemeiner Chat, Code-Hilfe |
| Llama 3.2 3B | 3B | 2,0 GB | 2,5–3 GB | 18–30 | Kleinste Datei, ausgewogen |
| Gemma 4 E2B | 2,3B eff. / 5,1B gesamt | 4,6 GB | 5–6 GB | 8–14 | 128K Kontext, Bildeingabe |
| Qwen3 8B | 8B | 5,2 GB | 6 GB | 8–15 | Höhere Qualität, 16 GB RAM |
| DeepSeek-R1 7B | 7B (Qwen-Destillat) | 4,7 GB | 6 GB | 8–14 | Reasoning, Mathematik |
Wie schnell ist CPU- gegenüber GPU-Inferenz?
CPU-Inferenz ist typischerweise 5–10-mal langsamer als eine dedizierte GPU oder mehr, weil die GPU die 7–20-fache Speicherbandbreite hat: Dual-Channel-DDR4-3200 liefert 51,2 GB/s, eine RTX 3060 12 GB 360 GB/s und eine RTX 4090 1.008 GB/s. Die Tabelle wendet die Bandbreitenregel (Obergrenze = Bandbreite ÷ Dateigröße) auf die 2,5 GB große Phi-4-Mini-Datei an. Obergrenzen sind Höchstwerte; die geschätzten Geschwindigkeiten sind PromptQuorum-Näherungen (grob 75–100 % der Obergrenze bei gesunder Installation), keine Labormessungen. Die GPU-Bandbreiten stammen aus den veröffentlichten Spezifikationen von NVIDIA. Apple Silicon ist nicht aufgeführt, weil Ollama auf einem Mac standardmäßig die GPU nutzt und die CPU-only-Regel dort anders greift.
Hardware | Bandbreite | Modell | Obergrenze Tok/s | Geschätzt Tok/s |
|---|---|---|---|---|
| Dual-Channel-DDR4-3200-Desktop (CPU) | 51,2 GB/s | Phi-4 Mini 2,5 GB | ~20 | 15–20 |
| Dual-Channel-DDR5-5600-Desktop (CPU) | 89,6 GB/s | Phi-4 Mini 2,5 GB | ~36 | 25–32 |
| Single-Channel-DDR4-3200-Laptop (CPU) | 25,6 GB/s | Phi-4 Mini 2,5 GB | ~10 | 7–10 |
| RTX 3060 12 GB (GPU) | 360 GB/s | Phi-4 Mini 2,5 GB | ~144 | Typisch 5–10× CPU |
| RTX 4090 24 GB (GPU) | 1.008 GB/s | Phi-4 Mini 2,5 GB | ~403 | Bis ~20× DDR4-Obergrenze |
Wie viel RAM braucht jedes CPU-only-Modell?
Faustregel: Modelldateigröße + etwa 500 MB Overhead = minimaler RAM, plus mehr bei langem Kontext. Eine 2,0 GB große Datei braucht grob 2,5–3 GB freien Arbeitsspeicher. Die Dateigrößen sind die auf ollama.com angegebenen Ollama-Downloads; die Kontextlängen sind die von Ollama genannten Maximalwerte, während der Standardkontext von Ollama 4096 Token beträgt, sofern Sie nicht `OLLAMA_CONTEXT_LENGTH` setzen:
Modell | Datei (Ollama) | Min. RAM | Komfortabel | Kontextlänge |
|---|---|---|---|---|
| Llama 3.2 3B | 2,0 GB | 2,5–3 GB | 6 GB | 128K |
| Phi-4 Mini 3,8B | 2,5 GB | 3 GB | 6 GB | 128K |
| Gemma 4 E2B | 4,6 GB | 5–6 GB | 8 GB | 128K |
| DeepSeek-R1 7B | 4,7 GB | 6 GB | 8 GB | 128K |
| Qwen3 8B | 5,2 GB | 6 GB | 8–16 GB | 40K |
Wie aktivieren Sie die reine CPU-Inferenz?
Ollama (am einfachsten): Führen Sie `ollama run phi4-mini` aus. Ollama nutzt die CPU, wenn es keine unterstützte GPU findet. Um die CPU auf einem Rechner mit GPU zu erzwingen, setzen Sie vor dem Start von Ollama `CUDA_VISIBLE_DEVICES=-1` (NVIDIA) oder `OLLAMA_VULKAN=0` (Vulkan-GPUs, einschließlich einiger integrierter GPUs) und prüfen dann die Spalte PROCESSOR von `ollama ps`. LM Studio: Stellen Sie beim Laden des Modells den GPU-Offload-Regler auf 0 Layer. llama.cpp: Mit `--n-gpu-layers 0` deaktivieren Sie das GPU-Offloading.
ollama run phi4-mini
# in a second terminal, while the model is loaded:
ollama ps # PROCESSOR column should read 100% CPUWie holen Sie die maximale CPU-Inferenzgeschwindigkeit heraus?
Speicherbandbreite und Dateigröße bestimmen die CPU-Geschwindigkeit, daher bringen Dual-Channel-RAM und eine Q4_K_M-Datei den größten Gewinn. Konkrete Tipps:
- Beide Speicherkanäle bestücken — zwei identische RAM-Riegel verdoppeln die maximale Speicherbandbreite gegenüber einem Riegel, die größte einzelne Beschleunigung auf einem reinen CPU-PC.
- Q4_K_M-Quantisierung nutzen — die Datei ist etwa 70 % kleiner als FP16 bei geringem Qualitätsverlust, und da die CPU-Dekodierung bandbreitenbegrenzt ist, erzeugt eine kleinere Datei in etwa demselben Verhältnis schneller.
- Kontextfenster verkleinern — ein längerer Kontext vergrößert den KV-Cache und verlangsamt die Prompt-Verarbeitung. Setzen Sie `OLLAMA_CONTEXT_LENGTH=2048` (der Ollama-Standard ist 4096) oder `/set parameter num_ctx 2048` innerhalb von `ollama run`.
- KV-Cache quantisieren — `OLLAMA_FLASH_ATTENTION=1` mit `OLLAMA_KV_CACHE_TYPE=q8_0` halbiert den KV-Cache-Speicher gegenüber dem f16-Standard grob, was auf Rechnern mit 8 GB am meisten hilft.
- Modell geladen halten — Ollama entlädt ein Modell standardmäßig nach 5 Minuten. Mit `OLLAMA_KEEP_ALIVE=30m` vermeiden Sie, die Datei für jede Sitzung neu zu laden.
- Thread-Anzahl prüfen — Ollama wählt die Threads automatisch; setzen Sie in llama.cpp `-t` auf die Anzahl Ihrer physischen Kerne. Schließen Sie speicherhungrige Anwendungen, damit das Modell nicht in den Swap ausweicht.
Wann sollten Sie die CPU statt der GPU nutzen?
Einsatzfall | CPU | GPU |
|---|---|---|
| Echtzeit-Chat (Latenz unter 1 s) | ⚠️ Brauchbar ab 15+ Tok/s (geschätzt); langsamer bei 1 Kanal | ✅ Typisch 5–10× schneller |
| Stapelverarbeitung (Dokumente, Logs) | ✅ Gut geeignet (Tempo weniger wichtig) | ⚠️ Überdimensioniert |
| Produktions-API (kostenbegrenzt) | ✅ Nutzt vorhandene Hardware | ⚠️ Zusätzliche GPU- und Stromkosten |
| Edge-Gerät (Raspberry Pi) | ✅ Oft die einzige Option | ❌ Wenige GPU-Optionen |
| Entwicklung / lokales Testen | ✅ Weniger Strom, leiser | ⚠️ Überdimensioniert |
| LLM-Fine-Tuning | ❌ Unpraktisch (viel langsamer) | ✅ Deutlich schneller |
Häufige Fragen zu reinen CPU-LLMs
Wie schnell ist reine CPU-Inferenz im Vergleich zu einer GPU?
Für Phi-4 Mini (2,5 GB Datei) liegt die CPU-Obergrenze bei etwa 20 Tok/s mit Dual-Channel-DDR4-3200 (51,2 GB/s) und bei etwa 36 Tok/s mit Dual-Channel-DDR5-5600 (89,6 GB/s); die PromptQuorum-Schätzung für die Praxis liegt bei 15–25 Tok/s. Eine dedizierte GPU hat weit mehr Speicherbandbreite (RTX 3060: 360 GB/s, RTX 4090: 1.008 GB/s) und ist daher typischerweise 5–10-mal schneller oder mehr. Das sind Schätzungen, keine Labormessungen.
Welches ist das kleinste Modell, das auf der CPU noch kohärente Ausgaben liefert?
Unterhalb von etwa 2B Parametern sinkt die Qualität schnell. Llama 3.2 3B (2,0 GB Datei) und Phi-4 Mini (3,8B, 2,5 GB) sind die kleinsten Empfehlungen in diesem Leitfaden und liefern brauchbaren Chat mit 8 GB RAM. Für noch kleinere Dateien siehe den Leitfaden zu den schnellsten lokalen LLMs für Low-End-PCs.
Kann ich ein 13B-Modell auf der CPU ausführen?
Ja, aber es ist langsam. Ein 13B-Modell in Q4_K_M ist eine Datei von grob 8 GB und braucht 12 GB oder mehr Arbeitsspeicher. Die Bandbreitenobergrenze liegt bei etwa 6 Tok/s mit Dual-Channel-DDR4-3200 (51,2 ÷ 8) und bei etwa 11 Tok/s mit DDR5-5600; die reale Geschwindigkeit liegt darunter. Das eignet sich eher für Stapelverarbeitung als für Live-Chat.
Nutzt CPU-Inferenz die GPU überhaupt?
Nicht, wenn Sie sie abschalten. Mit `CUDA_VISIBLE_DEVICES=-1` (NVIDIA), `OLLAMA_VULKAN=0` (Vulkan-GPUs) oder llama.cpp `--n-gpu-layers 0` läuft die Inferenz ausschließlich auf der CPU und im Arbeitsspeicher. Prüfen Sie zur Bestätigung die Spalte PROCESSOR von `ollama ps`.
Ist reine CPU-Inferenz stabil?
Sie vermeidet GPU-spezifische Fehlerbilder wie Treiberabstürze und GPU-Speicherfehler. Das wichtigste verbleibende Risiko ist, dass der Arbeitsspeicher ausgeht, wodurch das Modell in den Swap gedrängt wird und die Erzeugung stark einbricht; das steuern Sie über Modellwahl und Kontextlänge.
Muss ich Einstellungen für Apple-Silicon-CPUs anpassen?
In der Regel nicht. Ollama nutzt standardmäßig die Apple-GPU über Metal und den vereinheitlichten Speicher des Chips, ein Mac ist also kein CPU-only-Fall. Die Speicherbandbreite variiert je nach Chip, es gilt aber dieselbe Regel: Token pro Sekunde ≈ Speicherbandbreite ÷ Modelldateigröße.
Wie viel VRAM braucht ein 7B-Modell im reinen CPU-Modus?
Null dediziertes VRAM. Ein 7B-Modell in Q4_K_M (die Ollama-Datei deepseek-r1:7b ist 4,7 GB groß) braucht grob 6 GB Arbeitsspeicher, um komfortabel zu laufen. Das ist der Kernvorteil reiner CPU-Inferenz: keine GPU und kein VRAM erforderlich.
Kann ich ein LLM auf der CPU feinabstimmen?
Technisch ja, aber unpraktisch: Das Training ist auf einer CPU weit langsamer als auf einer GPU. Nutzen Sie den reinen CPU-Modus für die Inferenz und wechseln Sie für jedes Fine-Tuning oder Training auf eine GPU.
Kann ich mehrere Modelle gleichzeitig auf der CPU ausführen?
Technisch möglich, wenn der RAM reicht, aber nicht praktikabel. Gemeinsam geladene Modelle konkurrieren um dieselbe Speicherbandbreite, sodass jedes langsamer erzeugt. Führen Sie für die beste Geschwindigkeit ein Modell nach dem anderen aus, und lesen Sie bei mehreren Anfragen `OLLAMA_NUM_PARALLEL` und `OLLAMA_KEEP_ALIVE` im Ollama-FAQ nach.
Welche Sicherheitsrisiken hat reine CPU-Inferenz?
Lokaler Betrieb bedeutet, dass Prompts Ihren Rechner nicht verlassen müssen, was das Übertragungsrisiko einer Cloud-API entfallen lässt. Die verbleibenden Risiken sind die jeder lokalen Software: Halten Sie das Betriebssystem aktuell und den Rechner physisch gesichert, denn sensible Daten können weiterhin unverschlüsselt auf der Festplatte liegen.
Gibt es bei der CPU-Inferenz einen Geschwindigkeitsunterschied zwischen Ollama und llama.cpp?
PromptQuorum hat dazu keine eigenen Zahlen erhoben. Ollama baut auf llama.cpp auf, beide nutzen also dieselbe Art von CPU-Optimierungen, und ein Unterschied entsteht vor allem durch Thread-Verwaltung und Standardeinstellungen. Beginnen Sie mit den Ollama-Standardwerten und nutzen Sie llama.cpp, wenn Sie feinere Flags wie `-t` brauchen. Vergleichen Sie beide auf Ihrem eigenen Rechner mit `ollama run <model> --verbose`.
Ist reine CPU-Inferenz auf einem alten Laptop mit 8–10 GB RAM praxistauglich?
Ja, mit einem kleinen Modell. Llama 3.2 3B (2,0 GB) oder Phi-4 Mini (2,5 GB) passen in 8–10 GB RAM. Auf einem Single-Channel-DDR4-3200-Laptop liegt die Obergrenze bei etwa 10 Tok/s für Phi-4 Mini, rechnen Sie also mit geschätzt 5–10 Tok/s: gut für einen schlanken Chatbot oder Stapelarbeit, zu langsam für schnellen Chat im Wechsel.
Können CPUs LLMs ausführen?
Ja. Moderne CPUs (zum Beispiel Intel Core der 10. Generation oder neuer, AMD Ryzen 5000 oder neuer) können 3–8B-Modelle je nach Modellgröße mit geschätzt 8–30 Tok/s bei Dual-Channel-RAM ausführen. Das ist typischerweise 5–10-mal langsamer als eine dedizierte GPU oder mehr, braucht aber kein dediziertes VRAM.
Was ist das beste reine CPU-LLM?
Unter den hier verglichenen Modellen ist Phi-4 Mini (3,8B, 2,5 GB Datei) mit geschätzt 15–25 Tok/s die beste Allround-Wahl. Für die kleinste Datei Llama 3.2 3B (2,0 GB, geschätzt 18–30 Tok/s). Für Qualität mit 16 GB RAM Qwen3 8B (5,2 GB, geschätzt 8–15 Tok/s). Gemma 4 E2B hat einen 4,6-GB-Download und ist daher nicht die Tempo-Wahl.
Wie viel RAM brauche ich für reine CPU-Inferenz?
Nutzen Sie die Regel: Modelldateigröße + etwa 500 MB Overhead, plus mehr bei langem Kontext. Phi-4 Mini (2,5 GB) braucht etwa 3 GB, Llama 3.2 3B (2,0 GB) etwa 2,5–3 GB, Gemma 4 E2B (4,6 GB) etwa 5–6 GB und Qwen3 8B (5,2 GB) etwa 6 GB.
Wie aktiviere ich den CPU-only-Modus?
Führen Sie in Ollama `ollama run phi4-mini` aus; es nutzt die CPU, wenn keine unterstützte GPU gefunden wird. Um die CPU auf einem Rechner mit GPU zu erzwingen, setzen Sie `CUDA_VISIBLE_DEVICES=-1` oder `OLLAMA_VULKAN=0`. In llama.cpp verwenden Sie `--n-gpu-layers 0`. In LM Studio stellen Sie den GPU-Offload auf 0 Layer. Bestätigen Sie mit `ollama ps`.
Ist CPU-Inferenz für den Produktivbetrieb praktikabel?
Ja, wenn Sie keine Echtzeit-Latenz brauchen. Stapelverarbeitung, asynchrone APIs und Offline-Workflows laufen auf einer CPU. Eine CPU bedient einen Nutzer mit geringer Geschwindigkeit; für interaktiven Chat mit Latenz unter 1 Sekunde oder viele gleichzeitige Nutzer verwenden Sie eine GPU.
Welche reinen CPU-Modelle kommen am besten mit langem Kontext zurecht?
Bei Ollama nennen Gemma 4 E2B, Phi-4 Mini, Llama 3.2 3B und DeepSeek-R1 7B ein Kontextfenster von 128K und Qwen3 8B 40K. Der Standardkontext von Ollama beträgt nur 4096 Token, sofern Sie nicht `OLLAMA_CONTEXT_LENGTH` setzen. Ein langer Kontext ist auf einer CPU nicht gratis: Die Prompt-Verarbeitung skaliert mit der Zahl der geladenen Token, und der KV-Cache wächst, sodass ein sehr langes Fenster Minuten zum Füllen brauchen kann, bevor das erste Token erscheint. Wenn Sie nicht das ganze Fenster brauchen, begrenzen Sie es mit `OLLAMA_CONTEXT_LENGTH`, dann kommen Antworten spürbar schneller.
Nächste Schritte
- Schnellste lokale LLMs für Low-End-PCs — Alter oder schwacher PC? Geschätzte Geschwindigkeiten nach RAM-Stufe →
- LLM-Quantisierung erklärt — Warum Q4_K_M für die CPU-Inferenzgeschwindigkeit zählt →
- Beste lokale LLMs fürs Coding — Schlanke Coding-Modelle, die auf der CPU laufen können →
Warum reine CPU-LLMs bei datenschutzsensiblen Einsätzen zählen
EU / DSGVO: Läuft ein Modell offline auf Ihrer eigenen CPU, müssen Prompts und Dokumente das Gerät nicht verlassen, was für viele kleine Teams ein technisch naheliegender Weg ist, Fragen zur Drittlandübermittlung nach Art. 44 DSGVO zu vermeiden. Ob DSGVO, EU-KI-Verordnung oder andere Pflichten gelten, hängt davon ab, wer das System zu welchem Zweck einsetzt; dieser Leitfaden ist keine Rechtsberatung, und die Compliance insgesamt hängt von Ihrem gesamten Aufbau ab, nicht allein von der Inferenzarchitektur.
Offline- und Low-Connectivity-Umgebungen: CPU-Modelle funktionieren ohne zuverlässige Internetverbindung. Eine Modelldatei wie Phi-4 Mini, die Sie einmal herunterladen, kann ohne weiteren Netzzugriff laufen, was in Regionen mit instabiler Verbindung oder begrenztem Datenvolumen hilft.
Was sind typische Fehler bei der CPU-Inferenz?
- FP16 statt Q4_K_M verwenden. Eine FP16-Datei von Phi-4 Mini ist etwa 7,6 GB groß gegenüber 2,5 GB in Q4_K_M, sodass die Bandbreitenobergrenze mit Dual-Channel-DDR4-3200 von etwa 20 auf etwa 7 Tok/s sinkt. Nutzen Sie für CPU-Inferenz quantisierte GGUF-Modelle.
- In llama.cpp vergessen, reinen CPU-Betrieb zu erzwingen. Ohne explizite Flags kann ein GPU-Build Layer auslagern. Setzen Sie `--n-gpu-layers 0` für reinen CPU-Betrieb.
- Nur einen RAM-Riegel betreiben. Ein einzelner Speicherkanal halbiert die maximale Bandbreite, sodass dasselbe Modell mit grob halber Geschwindigkeit erzeugt. Installieren Sie zwei identische Riegel, bevor Sie eine schnellere CPU kaufen.
- Ein zu großes Modell wählen. Phi-4 Mini (2,5 GB, Obergrenze etwa 20 Tok/s mit Dual-Channel-DDR4-3200) ist für die interaktive Nutzung deutlich angenehmer als DeepSeek-R1 7B (4,7 GB, Obergrenze etwa 11 Tok/s). Passen Sie die Modellgröße an die Speicherbandbreite an, nicht nur an den freien RAM.
- Den falschen Ollama-Tag verwenden. `ollama run phi` lädt Phi-2, nicht Phi-4 Mini. Nutzen Sie `ollama run phi4-mini` und prüfen Sie die genauen Modell-Tags unter ollama.com/library.
Quellen
- llama.cpp auf GitHub — CPU-Inferenz, Thread- und GPU-Offload-Optionen
- Ollama-FAQ — Kontextlänge, KV-Cache-Typ, Keep-Alive und die CPU/GPU-Aufteilung in ollama ps
- Ollama-GPU-Dokumentation — reinen CPU-Betrieb erzwingen, OLLAMA_VULKAN und unterstützte GPUs
- Ollama-Bibliothek: phi4-mini — 2,5 GB, 128K Kontext
- Ollama-Bibliothek: llama3.2 — 3B-Datei 2,0 GB, 128K Kontext
- Ollama-Bibliothek: gemma4 — e2b-Download 4,6–7,5 GB, 128K Kontext, 2,3B effektive / 5,1B gesamte Parameter
- Ollama-Bibliothek: qwen3 — 8B-Datei 5,2 GB, 40K Kontext
- Ollama-Bibliothek: deepseek-r1 — 7B-Datei 4,7 GB, destilliert aus Qwen2.5
- Modellkarte Microsoft Phi-4-mini-instruct — Hugging Face
- Spezifikationen NVIDIA GeForce RTX 3060 — Speicherbandbreite
- Spezifikationen NVIDIA GeForce RTX 4090 — Speicherbandbreite
- Zusammenfassung Gemma 4 E2B — llm-stats (Drittanbieter)