Kann man RAG mit 2 GB RAM betreiben?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Schnelle Antwort
Ja — aber nur für kleine persönliche Dokumentensammlungen. Mit 2 GB RAM verwendet eine funktionsfähige RAG-Pipeline Llama 3.2 1B (~810 MB) mit MiniLM-L6-v2-Embeddings (~80 MB) und einem In-Memory-Vektorspeicher. Insgesamt ~1,3–1,5 GB passt auf ein 2-GB-Gerät. Größere Modelle (7B+) und größere Dokumentensammlungen (200+ Seiten) benötigen mindestens 8 GB.
- ▸Llama 3.2 1B Q4_K_M (~810 MB) + MiniLM-L6-v2-Embeddings (~80 MB) passt in 2 GB
- ▸Dokumentensammlung muss unter ~200 Seiten bleiben, um im RAM zu bleiben
- ▸7B+ Modelle oder größere Korpora benötigen mindestens 8 GB RAM
Ja — Aber Nur Minimale Setups Funktionieren
Mit 2 GB RAM verwendet die einzig funktionsfähige RAG-Pipeline ein LLM der 1B-Klasse (Llama 3.2 1B oder Qwen3 0.6B) mit einem leichtgewichtigen Embedding-Modell (MiniLM-L6-v2 mit ~80 MB) und einem Flat-File- oder In-Memory-Vektorspeicher. Das funktioniert — aber nur für kleine persönliche Dokumentensammlungen (unter ~200 Seiten).
Die Tabelle unten zeigt den RAM-Bedarf jeder RAG-Komponente bei minimalen Einstellungen.
| Komponente | Speicherbedarf | Hinweise |
|---|---|---|
| LLM (Llama 3.2 1B Q4_K_M) | ~810 MB | Kleinstes nutzbares instruction-tuned Modell |
| Embedding-Modell (MiniLM-L6-v2) | ~80 MB | Läuft auf CPU; keine GPU erforderlich |
| Vektorspeicher (Chroma in-memory) | ~150 MB | Skaliert mit Korpusgröße |
| Python-Laufzeit + Framework-Overhead | ~300 MB | LangChain oder bare llama-index |
| Gesamtminimum | ~1,3–1,5 GB | Lässt ~500 MB für das Betriebssystem auf einem 2-GB-Gerät |
Was bei 2 GB Scheitert
Das häufigste Versagen ist, dass das LLM den verfügbaren RAM bei der Kontextfenster-Erweiterung überschreitet. Bei 2 GB sollte der Kontext auf 2k–4k Tokens begrenzt werden (llama.cpp: -c 2048): Der KV-Cache von Llama 3.2 1B kostet bei fp16 etwa 32 KB pro Token (ca. 128 MB bei 4k), und alles über dem freien RAM lässt das Betriebssystem swappen. Das Laden eines 7B- oder größeren Modells schlägt sofort fehl — Llama 3 8B Q4_K_M benötigt allein ~5 GB.
Das zweite Versagensmuster ist das Wachstum des Vektorspeichers. Eine Chroma-Datenbank für 500 PDF-Seiten verwendet je nach Chunk-Größe etwa 400–600 MB. In Kombination mit LLM und Embedding-Modell überschreitet der Gesamt-RAM 2 GB. Die Lösung: Eingabe auf unter 150 Seiten begrenzen, 256-Token-Chunks verwenden und den Speicher nach jeder Sitzung bereinigen.
Laptop mit 2 GB RAM: Was das Betriebssystem übrig lässt
Auf einem 2-GB-Laptop entscheidet das Betriebssystem, nicht der RAG-Stack, ob es passt. Windows 11 verlangt offiziell mindestens 4 GB RAM; ein Laptop mit 2 GB läuft daher meist mit einer schlanken Linux-Distribution oder einem älteren Windows. Eine reine Terminal-Sitzung unter Linux lässt den Großteil der 2 GB frei, ein Desktop mit offenem Browser oft weniger als 1 GB.
Starte die Pipeline über die Kommandozeile mit llama.cpp, schließe den Browser und aktiviere zram oder Swap als Sicherheitsnetz — Swap verhindert Abstürze, macht die Generierung aber sehr langsam.
| Laptop-Setup | Freier RAM für RAG | Passt es? |
|---|---|---|
| Linux, nur Terminal | Großteil der 2 GB | Ja: 1B-Modell + MiniLM |
| Schlanker Linux-Desktop | Oft ~1 GB | Knapp: nur Qwen3 0.6B |
| Windows 10 oder 11 | Unter 1 GB | Nein: Gerät mit 4 GB+ nutzen |