Kurzantwort: Welches lokale LLM läuft auf Ihrem Laptop (8 GB, 16 GB, Apple Silicon)?
Sie können ein lokales LLM auf einem Laptop mit 8 GB RAM ausführen: Ein 3B–4B-Modell mit Q4_K_M läuft bei Dual-Channel-RAM mit geschätzten 15–30 tok/s. Die Tabelle ordnet Ihrer Hardware ein Modell zu. Die Geschwindigkeiten sind PromptQuorum-Schätzungen aus der Speicherbandbreite (tok/s ≈ Bandbreite ÷ Größe der Modelldatei), keine Labormessungen.
Ihr Laptop | Bestes Modell | Gesch. tok/s | Hardware-Annahme |
|---|---|---|---|
| 8 GB RAM, nur CPU | Llama 3.2 3B / Phi-4-mini, Q4_K_M | 15–30 | Dual-Channel DDR4/DDR5 |
| 16 GB RAM, nur CPU | Qwen3 8B / Llama 3.1 8B, Q4_K_M | 8–15 | Dual-Channel DDR4/DDR5 |
| Apple M3, 16 GB | Qwen3 8B, Q4_K_M | 13–17 | 100 GB/s Unified Memory |
| Apple M5, 16 GB | Qwen3 8B, Q4_K_M | 21–26 | 153 GB/s Unified Memory |
| Intel Iris Xe / AMD iGPU | Llama 3.2 3B / Phi-4-mini, Q4_K_M | 15–30 | Teilt sich den Arbeitsspeicher; `ollama ps` prüfen |
In einem Satz
Ein lokales LLM läuft auf einem Laptop mit quantisierten Modellen: Q4_K_M verkleinert die Datei auf etwa 31 % der FP16-Größe (4,58 GiB statt 14,96 GiB bei Llama 3.1 8B) bei geringem Qualitätsverlust.
In einfachen Worten
Ein LLM lokal auszuführen heißt, den Chatbot auf dem eigenen Laptop statt auf den Servern eines Anbieters laufen zu lassen: privat und offline nutzbar, aber langsamer als ein Cloud-Dienst.
Wann sollten Sie ein LLM auf einem Laptop ausführen?
- ✅ Lokale LLMs nutzen, wenn: die Daten auf dem Gerät bleiben müssen, Sie offline arbeiten oder keine Kosten pro Token wünschen
- ❌ Nicht nutzen, wenn: Sie die stärkste Reasoning-Qualität brauchen, sehr langen Kontext benötigen (100K+ Token, weil der KV-Cache mit dem Kontext wächst) oder schnelle Stapelverarbeitung wollen – siehe Grenzen lokaler LLMs
Kann man ein lokales LLM auf einem Laptop ausführen?
Ja – mit der passenden Modellgröße. Ein Laptop mit 8 GB RAM führt ein 3B–4B-Modell mit Q4_K_M bei Dual-Channel-RAM mit geschätzten 15–30 tok/s aus (Llama 3.2 3B: 18–30, Phi-4-mini: 15–25). Ein Apple-Silicon-Laptop mit 16 GB schafft ein 8B-Modell je nach Chip mit geschätzten 13–26 tok/s. Das ist langsamer als die meisten Cloud-APIs, aber schnell genug zum Mitlesen.
Die praktische Obergrenze auf einem Laptop mit 8 GB ist ein 3B–4B-Modell; 7B–8B-Dateien (4,4–5,2 GB) lassen kaum Platz für Betriebssystem und Browser. Ein 14B-Modell mit Q4_K_M (Qwen3 14B: 9,3 GB große Datei) passt nur mit kurzem Kontext und geschlossenen Apps auf einen Rechner mit 16 GB. Auf einem Mac braucht macOS mindestens 8 GB, ein Mac mit 16 GB hat also nur etwa 8 GB übrig, und ein 14B-Modell passt nicht.
Die Geschwindigkeiten hier sind PromptQuorum-Schätzungen aus der Speicherbandbreite, keine Labormessungen. Zu Stufen unter 8 GB und zur vollständigen Bandbreitenregel siehe Schnellste lokale LLMs für Low-End-PCs; für Laptops ohne GPU siehe Beste reine CPU-LLMs 2026.
Läuft RAG (Retrieval) auf einem Laptop?
Ja – RAG läuft auf einem Laptop, weil weiterhin das Chat-Modell der begrenzende Faktor ist, nicht die Retrieval-Schicht. Ein RAG-Stack auf dem Laptop besteht aus drei Teilen: einem kleinen Embedding-Modell, einem lokalen Vektorspeicher und Ihrem Chat-Modell.
Das Embedding-Modell ist klein: nomic-embed-text hat auf Ollama 274 MB (2K Kontextfenster) und belastet den RAM kaum. Auf einem Laptop mit 8 GB können Sie ein 3B-Chat-Modell plus Embedding-Modell betreiben; mit 16 GB bleibt Spielraum für ein 8B-Chat-Modell neben dem Retrieval.
2 GB RAM genügen nur für sehr kleine Setups. Qwen3 0.6B (523 MB) plus nomic-embed-text sind zusammen etwa 0,8 GB an Dateien und passen, wenn tatsächlich 2 GB frei sind. Auf einem typischen Laptop belegt das Betriebssystem 2–3 GB, und Auslagern auf die Festplatte bremst die Generierung stark; planen Sie daher 8 GB als praktische Untergrenze ein.
Welches Laptop-Setup brauchen Sie für Ihren Anwendungsfall?
- Für Einsteiger – 8 GB RAM, 3B–4B-Modelle, nur CPU. Erwarten Sie geschätzte 15–30 tok/s. Genug für Chat, Zusammenfassungen und einfaches Coding.
- Für Entwickler – 16 GB RAM, 8B–9B-Modelle, optional GPU. Multitasking ist möglich, ohne andere Apps zu schließen (gesch. 8–15 tok/s auf der CPU).
- Für Power-User – Apple Silicon mit Pro- oder Max-Chip oder ein Laptop mit GPU und mindestens 8 GB VRAM, 8B–14B-Modelle. Schätzungen für Qwen3 8B: 41–53 tok/s auf einem M5 Pro (307 GB/s) und 34–44 tok/s auf einer RTX 4060 Laptop-GPU (etwa 256 GB/s).
Wer kann ein lokales LLM auf einem Laptop ausführen?
- Einsteiger → LM Studio + 3B-Modell
- Fortgeschrittene → Ollama + 8B-Modell
- Profis → 14B mit Quantisierungs-Feintuning
- ❌ Keinen Laptop nutzen, wenn: Sie Echtzeit-APIs brauchen (nutzen Sie einen vLLM-Server) oder große Datensätze verarbeiten (nutzen Sie Cloud-GPUs)
Welche Größe lokaler LLM-Modelle brauchen Sie?
Die Dateigrößen sind die Ollama-Downloads, geprüft auf ollama.com am 2026-10-23, bei Quantisierung der Klasse Q4_K_M (etwa 70 % kleiner als FP16). Min. RAM ist die Datei plus etwa 0,5 GB Overhead; planen Sie 2–4 GB zusätzlich für Betriebssystem und Browser ein:
Modell | Datei (Ollama) | Min. RAM | Gesch. tok/s | Am besten für |
|---|---|---|---|---|
| Llama 3.2 3B | 2,0 GB | 2,5–3 GB | 18–30 | Einfache Aufgaben, Chat, Zusammenfassungen |
| Phi-4-mini 3.8B | 2,5 GB | 3 GB | 15–25 | Reasoning und Coding mit 8 GB |
| Qwen3 8B | 5,2 GB | 6 GB | 8–15 | Allgemeine Nutzung, mehrsprachig, Coding |
| Qwen3 14B | 9,3 GB | 10 GB | 4–8 | Anspruchsvollere Aufgaben mit 16 GB, kurzer Kontext |
Die Werte sind PromptQuorum-Schätzungen, keine Labormessungen, für einen Laptop mit Dual-Channel-DDR4-3200 bis DDR5-5600 (51,2–89,6 GB/s); Single-Channel-RAM halbiert sie. Beispiel Q4_K_M: Llama 3.1 8B hat 14,96 GiB bei FP16 und 4,58 GiB bei Q4_K_M (llama.cpp-quantize-README), etwa 69 % weniger. → VRAM-Rechner
Laptop mit 8 GB vs. 16 GB RAM: Was ist der praktische Unterschied?
Szenario | 8 GB RAM | 16 GB RAM |
|---|---|---|
| Maximale Modellgröße | 3B–4B komfortabel; 7B–8B (4,4–5,2 GB große Dateien) knapp | 8B–9B komfortabel; 14B (9,3 GB) mit kurzem Kontext |
| Modell bei geöffnetem Browser | 3B–4B (knapp) | 8B–9B komfortabel |
| Empfohlenes erstes Modell | llama3.2:3b oder phi4-mini | qwen3:8b oder llama3.1:8b |
| Gleichzeitige Apps | Browser schließen, bevor Sie ein 8B-Modell laden | Normales Multitasking mit einem 8B-Modell |
Welche lokalen LLM-Modelle laufen auf einem Laptop am besten?
Diese Modelle passen zu den Grenzen eines Laptops: Kleine Dateien liefern bei gleicher Speicherbandbreite mehr Token pro Sekunde. Die Geschwindigkeiten sind PromptQuorum-Schätzungen für einen Laptop mit Dual-Channel-DDR4-3200 bis DDR5-5600 (51,2–89,6 GB/s), abgeleitet aus der Bandbreitenobergrenze (Bandbreite ÷ Ollama-Dateigröße), keine Labormessungen; Single-Channel-RAM halbiert sie. Die Dateigrößen sind die Ollama-Downloads, geprüft am 2026-10-23. Zum VRAM-Bedarf verschiedener Modelle und Laptop-Konfigurationen siehe den Leitfaden zum VRAM-Bedarf →. Installieren Sie Ollama, um jedes dieser Modelle mit einem einzigen Befehl auszuführen. Keine GPU? Siehe Beste reine CPU-LLMs 2026. Es sind Modelle mit offenen Gewichten (Open-Weights); die Lizenz steht jeweils auf der Model Card.
Modell | Datei (Ollama) | Min. RAM | Gesch. tok/s | Am besten für |
|---|---|---|---|---|
| Llama 3.2 3B | 2,0 GB | 2,5–3 GB | 18–30 | Laptops mit 8 GB, schnelle Aufgaben |
| Phi-4-mini 3.8B | 2,5 GB | 3 GB | 15–25 | Laptops mit 8 GB, Reasoning und Coding |
| Qwen3 8B | 5,2 GB | 6 GB | 8–15 | Laptops mit 16 GB, mehrsprachig, Coding |
| Llama 3.1 8B | 4,9 GB | 5,5 GB | 8–14 | Laptops mit 16 GB, allgemeine Nutzung |
| Qwen3.5 9B | 6,6 GB | 7–8 GB | 6–12 | Laptops mit 16 GB, neuere Familie, Bildeingabe |
Mit welchem lokalen LLM-Setup starten Sie auf einem Laptop?
Die Laptop-Hardware begrenzt die Modellgröße, doch klare, strukturierte Prompts können die Ausgabe kleinerer Modelle verbessern. Techniken für kleinere Modelle finden Sie im Leitfaden zu Prompt Engineering.
- 🥇 Einfacher Start per Kommandozeile: Ollama – ein Befehl pro Modell, breite Modellunterstützung
- 🥈 Am einfachsten für Einsteiger: LM Studio – grafische Oberfläche, kein Terminal nötig
- 🥉 Wenig RAM (8 GB): Llama 3.2 3B (Q4_K_M)
- ⚡ Mehr Qualität mit 16 GB: Qwen3 8B (Q4_K_M, oder Q5_K_M, wenn die Geschwindigkeit es zulässt)
- 💡 Im Zweifel: mit Ollama + Llama 3.2 3B Q4_K_M starten
Apple Silicon vs. Windows-Laptop: Was eignet sich besser für lokale LLMs?
Apple-Silicon-MacBooks sind eine starke Wahl für lokale LLMs, weil der Unified Memory der GPU Zugriff mit hoher Bandbreite auf den gesamten Speicherpool gibt. Die Geschwindigkeit wird von der Speicherbandbreite bestimmt: Apple gibt 100 GB/s für den M3, 153 GB/s für den M5, 307 GB/s für den M5 Pro und 460 oder 614 GB/s für den M5 Max an (je nach GPU-Kernen). Das MacBook Pro mit M5 Pro und M5 Max, vorgestellt am 3. März 2026, bietet bis zu 64 GB bzw. 128 GB Unified Memory.
Ein Windows-Laptop mit dedizierter NVIDIA-GPU kann schneller sein, wenn das Modell in den VRAM passt. Die RTX 4060 Laptop-GPU hat 8 GB GDDR6 an einem 128-Bit-Bus (NVIDIA); bei 16 Gbps (Angabe eines Drittanbieters) sind das etwa 256 GB/s, sodass Qwen3 8B (5,2 GB) eine Obergrenze von rund 49 tok/s hat. Der Preis dafür sind höhere Leistungsaufnahme und mehr Hitze.
Windows-Laptops mit nur integrierter Intel-Iris-Xe- oder AMD-Radeon-Grafik sind durch die Bandbreite des Arbeitsspeichers begrenzt. Laut Ollama-Dokumentation ist die Vulkan-GPU-Unterstützung standardmäßig aktiviert, wenn das Backend installiert ist, und Intel-Onboard-Grafik wird in keiner Support-Tabelle aufgeführt; prüfen Sie daher die Spalte PROCESSOR von `ollama ps`. Eine iGPU teilt sich denselben RAM, der Gewinn fällt deshalb meist gering aus.
Beste Modelle für integrierte Grafik (Intel Iris Xe / AMD Radeon): Mit 16 GB RAM wählen Sie für Geschwindigkeit ein 3B–4B-Modell mit Q4_K_M (Llama 3.2 3B, gesch. 18–30 tok/s bei Dual-Channel-RAM) oder für Qualität Qwen3 8B (gesch. 8–15 tok/s). Bevorzugen Sie ein Modell, das bequem im RAM bleibt. Eine Schritt-für-Schritt-Anleitung für Low-End-Setups finden Sie unter Schnellste lokale LLMs für Low-End-PCs.
Methode der Tabelle: Jede Schätzung liegt bei etwa 70–90 % der Obergrenze (Bandbreite ÷ die 5,2 GB große Qwen3-8B-Datei). Es sind PromptQuorum-Schätzungen, keine Labormessungen.
Laptop-Typ | Speicherbandbreite | Qwen3 8B gesch. tok/s | Praktisch max. Modell |
|---|---|---|---|
| Apple M3, 16 GB | 100 GB/s | 13–17 | ~9B (14B knapp) |
| Apple M5, 16 GB | 153 GB/s | 21–26 | ~9B (14B knapp) |
| Apple M5 Pro | 307 GB/s | 41–53 | Speicherbegrenzt (bis 64 GB) |
| Apple M5 Max | 460–614 GB/s | 62–106 | Speicherbegrenzt (bis 128 GB) |
| RTX 4060 Laptop (8 GB VRAM) | ~256 GB/s | 34–44 | ~8B im VRAM |
| Laptop mit Dual-Channel-DDR5-5600 | 89,6 GB/s | 12–15 | ~9B (16 GB RAM) |
| Laptop mit Single-Channel-DDR4-3200 | 25,6 GB/s | 3–4 | 3B–4B empfohlen |
Reicht ein Laptop für lokale LLMs im Vergleich zu einem Desktop?
Laptops führen 3B–14B-Modelle effektiv aus, doch Desktops kommen dank besserer Kühlung und dedizierter GPUs mit deutlich höherer Speicherbandbreite weiter. Eine Desktop-RTX-4090 hat 24 GB VRAM und 1.008 GB/s Bandbreite (NVIDIA), genug für Modelldateien bis etwa 20 GB im VRAM, etwa Gemma 4 31B (19–20 GB auf Ollama). Ein 70B-Modell mit Q4 ist auf Ollama eine 43 GB große Datei (llama3.3:70b); sie passt nicht in 24 GB und muss mit dem viel langsameren Arbeitsspeicher aufgeteilt werden.
Nutzen Sie einen Laptop für Mobilität und zum Experimentieren. Nutzen Sie einen Desktop für große Modelle (14B+), Dauerlast oder produktive Inferenz. Sie überlegen, welche Plattform? Im Kaufratgeber Laptop vs. Desktop für lokale LLMs finden Sie einen vollständigen Kosten- und Leistungsvergleich.
Wie gehen Sie mit Thermal Throttling auf einem Laptop um?
Thermal Throttling tritt auf, wenn CPU oder GPU ihre Temperaturgrenze erreichen und die Taktrate senken, um sich abzukühlen. Lokale Inferenz ist eine Dauerlast, deshalb kann ein dünner Laptop nach einer Weile langsamer werden; wie stark und wie schnell, hängt von der Kühlung ab. Prüfen Sie Ihre eigene Geschwindigkeit über 10 Minuten mit `ollama run <model> --verbose`.
- Nutzen Sie einen Laptop-Ständer mit Luftzirkulation – ein erhöhter Laptop verbessert den Abluftstrom und kann das Throttling hinauszögern.
- Testen Sie einen niedrigeren Energiemodus – die Token-Generierung wird von der Speicherbandbreite begrenzt, nicht von der Taktrate; ein ausgewogener oder sparsamer Energieplan (unter macOS der Energiesparmodus) kann Hitze senken und kostet womöglich weniger Geschwindigkeit als erwartet; testen Sie es auf Ihrem Gerät.
- Begrenzen Sie Generierungslänge und Kontext – teilen Sie lange Aufgaben in kürzere Prompts auf und vermeiden Sie es, sehr lange Antworten erneut zu generieren.
- Nehmen Sie Q4_K_M statt Q8_0 – die Datei ist etwa 1,7-mal kleiner (4,58 vs. 7,95 GiB bei Llama 3.1 8B), jedes Token liest also weniger Daten aus dem Speicher, und der Chip ist kürzer unter Last.
Wie viel Akku verbraucht ein lokales LLM?
Der Akkuverbrauch bei lokaler Inferenz ist erheblich, weil CPU oder GPU während der gesamten Generierung unter hoher Last laufen. Die Laufzeit in Stunden entspricht ungefähr der Akkukapazität in Wattstunden geteilt durch die durchschnittliche Leistungsaufnahme: Ein 60-Wh-Akku hält bei 20 W etwa 3 Stunden, bei 30 W etwa 2 Stunden. Das sind Rechenbeispiele, keine Messungen; die reale Leistungsaufnahme hängt von Laptop, Modell und Energiemodus ab.
Die angegebene Akkulaufzeit beschreibt keine Inferenz. Apples Angabe von bis zu 16 Stunden drahtlosem Surfen für das 14-Zoll-MacBook Pro mit M5 (Akku mit 72,4 Wh) gilt für leichte Nutzung, nicht für dauerhafte Generierung.
Schließen Sie bei längeren Sitzungen das Netzteil an. Für akkuschonende Nutzung wählen Sie ein kleineres Modell (eine 3B-Datei ist weniger als halb so groß wie eine 8B-Datei, jede Antwort ist also schneller fertig) und verkürzen den Kontext.
Welche Quantisierungsstufe eignet sich für einen Laptop?
Quantisierung verringert die Modellpräzision, um den Bedarf an RAM und Bandbreite zu senken. Auf Laptops ist Q4_K_M der übliche Standard. Die Größen unten gelten für Llama 3.1 8B laut llama.cpp-quantize-README (14,96 GiB bei FP16); andere Modelle skalieren ähnlich:
Quantisierung | Größe vs. FP16 | Qualitätsverlust | Einsatzfall |
|---|---|---|---|
| Q2_K | ~20 % (2,95 GiB) | Hoch – spürbare Verschlechterung | Nur, wenn nichts anderes passt |
| Q3_K_S | ~23 % (3,41 GiB) | Mittel | Ein größeres Modell in den RAM pressen |
| Q4_K_M | ~31 % (4,58 GiB) | Gering – üblicher Standard | Die meisten Laptops, guter Kompromiss |
| Q5_K_M | ~36 % (5,33 GiB) | Klein | Laptops mit 16 GB, wenn die Geschwindigkeit reicht |
| Q8_0 | ~53 % (7,95 GiB) | Sehr klein | Viel freier RAM, Geschwindigkeit unkritisch |
Welche Datenschutzgesetze gelten für lokale LLMs auf dem Laptop?
Europäische Union (DSGVO): Läuft ein Modell auf Ihrem eigenen Laptop, müssen Prompts und Dokumente das Gerät nicht verlassen, wodurch sich vermeiden lässt, personenbezogene Daten an einen externen Auftragsverarbeiter zu senden. Ob die DSGVO, der EU AI Act oder andere Pflichten greifen, hängt davon ab, wer das System betreibt und zu welchem Zweck; dieser Leitfaden ist keine Rechtsberatung, und die Compliance hängt von Ihrem gesamten Setup ab, nicht davon, wo die Inferenz läuft.
Deutschland: Für deutsche Unternehmen kann es datenschutzrechtliche Fragen vereinfachen, Dokumente auf dem Gerät zu halten; ob ein lokales Setup Ihre Pflichten erfüllt (zum Beispiel bei vertraulichen Mandantendaten), wird jedoch im Einzelfall entschieden. Fragen Sie Ihre Datenschutzbeauftragte oder Ihren Datenschutzbeauftragten.
Japan (APPI): Japans Gesetz zum Schutz personenbezogener Daten regelt die Übermittlung personenbezogener Daten ins Ausland. Wenn die Inferenz auf dem Laptop läuft, werden Prompts nicht an eine ausländische API gesendet, was die Frage der Übermittlung vereinfachen kann; eine rechtliche Prüfung ersetzt das nicht.
Vereinigte Staaten: Es gibt kein einheitliches Bundesgesetz für KI-Daten; je nach Anwendung gelten branchenspezifische Regeln wie HIPAA (Gesundheitswesen), FERPA (Bildung) und Datenschutzgesetze der Bundesstaaten. Daten auf einem lokalen Gerät zu halten kann die Zahl der beteiligten Dritten verringern, doch Sie bleiben für die Sicherheit von Gerät und Daten verantwortlich.
Häufige Fragen zu lokalen LLMs auf Laptops
Welche Ollama-Modelle eignen sich am besten für Intel Iris Xe mit 16 GB RAM?
Bei einem Laptop mit Intel-Iris-Xe-Grafik und 16 GB RAM ist die Geschwindigkeit durch die Bandbreite des Arbeitsspeichers begrenzt. Ob Ollama die iGPU nutzt, hängt von Treiber- und Backend-Unterstützung ab (prüfen Sie die Spalte PROCESSOR von `ollama ps`), und eine iGPU teilt sich denselben RAM, der Gewinn fällt deshalb meist gering aus. Wählen Sie für Geschwindigkeit ein 3B–4B-Modell mit Q4_K_M: Llama 3.2 3B (gesch. 18–30 tok/s bei Dual-Channel-RAM) mit `ollama run llama3.2:3b`, oder für mehr Qualität Qwen3 8B (gesch. 8–15 tok/s) mit `ollama run qwen3:8b`. Die Geschwindigkeiten sind PromptQuorum-Schätzungen, keine Labormessungen.
Kann man RAG lokal auf einem Laptop ausführen?
Ja. Ein RAG-Stack auf dem Laptop besteht aus einem kleinen Embedding-Modell, einem lokalen Vektorspeicher und Ihrem Chat-Modell. Das Embedding-Modell ist klein (nomic-embed-text hat auf Ollama 274 MB), daher bleibt das Chat-Modell die entscheidende RAM-Grenze: Ein Laptop mit 8 GB führt ein 3B-Chat-Modell mit Retrieval aus, und 16 GB lassen Platz für ein 8B-Modell. Die RAM-Aufteilung finden Sie oben im Abschnitt RAG auf einem Laptop.
Welches ist das beste reine CPU-LLM für einen Laptop?
Unter den im CPU-Leitfaden verglichenen Modellen ist Phi-4 Mini (3,8B, 2,5 GB große Datei) die beste Allround-Wahl mit geschätzten 15–25 tok/s bei Dual-Channel-RAM, und Llama 3.2 3B (2,0 GB große Datei) hat die kleinste Datei bei geschätzten 18–30 tok/s, beide mit Q4_K_M. Den vollständigen Vergleich und die Ollama-Befehle finden Sie unter Beste reine CPU-LLMs 2026.
Schadet ein lokales LLM meinem Laptop auf Dauer?
Bei einem intakten Laptop ist kein unmittelbarer Schaden zu erwarten: Chips senken ihre Taktrate, wenn sie heiß werden, sodass dauerhafte Inferenz das Gerät verlangsamt, statt es zu beschädigen. Anhaltende Hitze belastet über die Zeit dennoch Lüfter und Akku; nutzen Sie daher einen Ständer oder ein Kühlpad, halten Sie die Lüftungsschlitze frei und machen Sie Pausen. Beachten Sie die Hinweise des Herstellers zu Thermik und Akkupflege.
Kann ich ein lokales LLM auf einem Laptop mit 4 GB RAM ausführen?
Gerade so. Ein kleines Modell wie Qwen3 1.7B (1,4 GB große Datei) oder Llama 3.2 1B (1,3 GB große Datei) passt, doch das Betriebssystem braucht 2–3 GB, sodass Sie bei insgesamt 4 GB wahrscheinlich in den Swap geraten, was die Generierung stark bremst. Das praktische Minimum für ein komfortables Erlebnis sind 8 GB. Siehe Schnellste lokale LLMs für Low-End-PCs.
Braucht mein Laptop eine dedizierte GPU, um lokale LLMs auszuführen?
Nein. Ollama, LM Studio und GPT4All laufen auch nur mit der CPU. Eine GPU mit hoher Speicherbandbreite beschleunigt die Generierung, doch 3B–4B-Modelle sind auf der CPU mit geschätzten 15–30 tok/s bei Dual-Channel-RAM brauchbar. Empfehlungen für CPU-taugliche Modelle finden Sie unter Beste lokale LLM-Modelle für Einsteiger.
Welches ist das schnellste lokale LLM auf einem MacBook mit 8 GB?
Unter den Modellen in diesem Leitfaden ist Llama 3.2 3B mit Q4_K_M (2,0 GB große Datei) die schnellste praxistaugliche Wahl auf einem MacBook mit 8 GB. Auf einem M2 oder M3 (beide laut Apple 100 GB/s) liegt die Bandbreitenobergrenze bei etwa 50 tok/s, und die PromptQuorum-Schätzung beträgt 35–45 tok/s. Eine 8B-Datei (5,2 GB) ist mit 8 GB knapp, weil auch macOS und Ihre Apps Speicher brauchen.
Wie verringere ich Thermal Throttling auf einem Laptop bei der LLM-Inferenz?
Vier Schritte: (1) den Laptop auf einen Ständer mit Luftzirkulation stellen, (2) einen ausgewogenen oder sparsamen Energiemodus testen, weil die Generierung stärker von der Speicherbandbreite als von der Taktrate begrenzt wird, (3) Generierungslänge und Kontext begrenzen und (4) Q4_K_M statt Q8_0 nutzen, damit jedes Token weniger Daten liest. Prüfen Sie Ihre Geschwindigkeit über 10 Minuten mit `ollama run <model> --verbose`.
Kann ich ein lokales LLM auf einem Chromebook ausführen?
Nur auf Chromebooks mit aktiviertem Linux (Crostini) und nur mit kleinen Modellen. Die meisten Chromebooks haben 4–8 GB RAM und eine bescheidene Speicherbandbreite, daher ist ein 1B–3B-Modell mit Q4_K_M die realistische Obergrenze, und die Geschwindigkeit bleibt niedrig. Chromebooks ohne Linux-Unterstützung können Ollama nicht ausführen.
Ist Apple Silicon besser als eine NVIDIA-Laptop-GPU für lokale LLMs?
Das hängt vom Speicher ab. Die Geschwindigkeit folgt Speicherbandbreite und Kapazität: Ein MacBook mit 16 GB und M5 (153 GB/s) hat für Qwen3 8B eine Obergrenze von rund 29 tok/s, während eine RTX 4060 Laptop-GPU (etwa 256 GB/s, 8 GB VRAM) eine Obergrenze von rund 49 tok/s hat, aber nur Modelle fasst, die in 8 GB passen. Ein M5 Pro (307 GB/s) oder M5 Max (460–614 GB/s) mit mehr Speicher hält größere Modelle in schnellem Speicher. Die Leistungsaufnahme unterscheidet sich je nach Modell, prüfen Sie daher Ihren Laptop.
Was passiert, wenn das Modell für den RAM meines Laptops zu groß ist?
Das Betriebssystem beginnt, auf die Festplatte auszulagern, oder das Modell lässt sich nicht laden, und die Generierung kann zäh werden, während die Lüfter auf Hochtouren laufen. Abhilfe schaffen ein kleineres Modell, eine niedrigere Quantisierungsstufe (Q4_K_M statt Q8_0) oder ein kürzerer Kontext (`OLLAMA_CONTEXT_LENGTH`, Standard 4096).
Wie lange hält der Akku bei lokalen LLMs auf einem Laptop?
Die Laufzeit entspricht ungefähr der Akkukapazität in Wh geteilt durch die durchschnittliche Leistungsaufnahme in W. Ein 60-Wh-Akku hält bei 20 W etwa 3 Stunden und bei 30 W etwa 2 Stunden (Rechenbeispiel, keine Messung). Die reale Leistungsaufnahme hängt von Laptop, Modell und Energiemodus ab. Für ganztägige Nutzung schließen Sie das Netzteil an.
Brauche ich eine Internetverbindung, um ein lokales LLM auf einem Laptop auszuführen?
Nein. Nach dem Herunterladen des Modells (dafür ist Internet nötig) läuft die Inferenz vollständig offline. Das Modell läuft komplett auf der CPU oder GPU des Laptops. Das macht lokale LLMs nützlich auf Reisen, in abgesicherten Umgebungen oder an Orten mit unzuverlässiger Verbindung.
Kann ich ein lokales LLM mit 8 GB RAM ausführen?
Ja. Ein Laptop mit 8 GB führt ein 3B–4B-Modell mit Q4_K_M (2,0–2,5 GB große Dateien) mit geschätzten 15–30 tok/s bei Dual-Channel-RAM aus, oder mit geschätzten 28–45 tok/s auf einem Apple M2 oder M3. 7B–8B-Modelle (4,4–5,2 GB große Dateien) sind mit 8 GB knapp.
Welcher Laptop ist der schnellste für lokale LLMs?
Für lokale LLMs sind Speicherbandbreite und ausreichend Speicher die entscheidenden Werte. Apple nennt 307 GB/s für den M5 Pro (bis 64 GB) und 460 oder 614 GB/s für den M5 Max (bis 128 GB); für Qwen3 8B betragen die PromptQuorum-Schätzungen 41–53 tok/s auf einem M5 Pro und 62–106 tok/s auf einem M5 Max. Unter Windows hat ein Laptop mit NVIDIA-GPU, die das Modell im VRAM hält, eine hohe Obergrenze, zum Beispiel etwa 256 GB/s bei einer RTX 4060 Laptop-GPU mit 8 GB.
Wie langsam sind lokale LLMs auf der CPU?
Die Geschwindigkeit liegt höchstens bei Speicherbandbreite ÷ Größe der Modelldatei. Bei Dual-Channel-DDR4/DDR5 läuft ein 3B–4B-Modell mit Q4_K_M mit geschätzten 15–30 tok/s und Qwen3 8B mit geschätzten 8–15 tok/s; Single-Channel-RAM halbiert das. Das ist langsam genug zum Mitlesen, aber schnell genug für Chat und Zusammenfassungen. Apple Silicon erreicht bei Qwen3 8B geschätzte 13–26 tok/s (M3 bis M5), weil der Unified Memory mehr Bandbreite hat.
Quellen
- Technische Daten des Apple MacBook Pro -- Speicherbandbreite von M5 (153 GB/s), M5 Pro (307 GB/s) und M5 Max (460 und 614 GB/s) sowie angegebene Akkulaufzeit. apple.com/macbook-pro/specs
- Technische Daten des Apple MacBook Air (15 Zoll, M3, 2024) -- M3-Speicherbandbreite von 100 GB/s. support.apple.com
- Apple Newsroom: M2 -- 100 GB/s Bandbreite des Unified Memory. apple.com/newsroom
- Apple Newsroom: MacBook Pro mit M5 Pro und M5 Max (3. März 2026) -- bis zu 64 GB und 128 GB Unified Memory. apple.com/newsroom
- NVIDIA-GeForce-Laptop-Vergleich -- RTX 4060 Laptop-GPU: 8 GB GDDR6, 128-Bit-Bus. nvidia.com
- Notebookcheck: RTX 4060 Laptop GPU -- 16 Gbps Speichergeschwindigkeit (Drittanbieter; Grundlage der Angabe von ~256 GB/s). notebookcheck.net
- Technische Daten der NVIDIA GeForce RTX 4090 -- 24 GB VRAM, 1.008 GB/s. nvidia.com
- Ollama-Bibliothek -- Dateigrößen geprüft am 2026-10-23: llama3.2, phi4-mini, qwen3, qwen3.5, llama3.1, llama3.3, gemma4.
- Ollama FAQ -- Standard-Kontextlänge 4096, OLLAMA_CONTEXT_LENGTH, KV-Cache-Typ, Keep-alive und `ollama ps`. docs.ollama.com/faq
- Ollama-GPU-Dokumentation -- Metal auf Apple Silicon, Vulkan und unterstützte GPUs. docs.ollama.com/gpu
- llama.cpp-quantize-README -- Dateigrößen nach Quantisierungstyp für Llama 3.1 8B. github.com/ggml-org/llama.cpp
- Apple MLX Framework -- GPU-Beschleunigung für Apple-Silicon-Macs. github.com/ml-explore/mlx
- LM Studio -- Systemanforderungen, GPU-Kompatibilität und Einrichtung der lokalen Inferenz. lmstudio.ai
Welche typischen Fehler gibt es bei lokalen LLMs auf Laptops?
- Ein Modell nutzen, das für den verfügbaren RAM zu groß ist → das System lagert auf die Festplatte aus und die Generierung wird stark langsamer; wählen Sie ein kleineres Modell oder eine niedrigere Quantisierung.
- Thermal Throttling ignorieren → die Dauergeschwindigkeit kann sinken, sobald der Chip seine Temperaturgrenze erreicht; prüfen Sie Ihre Geschwindigkeit nach 10 Minuten mit `ollama run <model> --verbose`.
- Q8_0 statt Q4_K_M verwenden → die Datei ist etwa 1,7-mal größer (7,95 vs. 4,58 GiB bei Llama 3.1 8B), braucht daher mehr RAM und generiert auf einem bandbreitenbegrenzten Laptop langsamer, für einen kleinen Qualitätsgewinn.
- Nur einen RAM-Riegel nutzen → Single-Channel-Speicher halbiert die maximale Bandbreite und damit die Geschwindigkeitsobergrenze; nutzen Sie zwei identische Riegel, sofern der Laptop das erlaubt.
- GPU-Offload in LM Studio ausgeschaltet lassen → das Modell läuft auf der CPU statt auf der GPU; erhöhen Sie die GPU-Offload-Einstellung, wenn das Modell in den GPU-Speicher passt.
- Das Standard-Kontextfenster beibehalten → Ollamas Standard sind 4096 Token, sodass mehrseitige Dokumente abgeschnitten werden; erhöhen Sie es mit `OLLAMA_CONTEXT_LENGTH=8192` oder `/set parameter num_ctx 8192` und rechnen Sie mit höherem Speicherbedarf.