Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Q4_K_M vs. Q8_0: Was sollten Sie wählen?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Q4_K_M und Q8_0 sind zwei Quantisierungsformate von llama.cpp: Bei Llama 3 8B liegt Q8_0 bei der Perplexity auf dem Niveau von f16 (+0,02 %), Q4_K_M liegt +2,8 % darüber, braucht aber nur eine 4,58-GiB-Datei statt 7,96 GiB (Llama 3.1 8B: 7,95 GiB).

Wichtigste Erkenntnisse

  • ✓Bis 8 GB VRAM: Q4_K_M (4,58 GiB); Q8_0 (7,95 GiB) passt mit KV-Cache nicht mehr
  • ✓12+ GB VRAM: Q8_0 lohnt sich für nahezu f16-nahe Ausgaben, ist aber langsamer: 50,93 gegenüber 71,93 Tokens/s bei Llama 3.1 8B laut llama.cpp-Quantize-README
  • ✓Für die meisten Benutzer, die Ollama täglich nutzen, ist Q4_K_M die richtige Wahl
Q4_K_M vs. Q8_0: Was sollten Sie wählen?

Schnelle Antwort

Verwenden Sie Q4_K_M bei 8 GB VRAM oder weniger und Q8_0 bei 12+ GB. Bei Llama 3 8B ist Q4_K_M 4,58 GiB und Q8_0 7,96 GiB groß; Q8_0 bleibt näher an der vollen Präzision.

  • ▸Q4_K_M: 4,58 GiB für Llama 3.1 8B, etwa 5,1 GiB mit 4k-KV-Cache (berechnet)
  • ▸Q8_0: 7,95 GiB für Llama 3.1 8B, etwa 8,5 GiB mit 4k-KV-Cache (berechnet)
  • ▸Perplexität vs. f16 bei Llama 3 8B: Q4_K_M +2,8 %, Q8_0 +0,02 % (llama.cpp, berechnet)
Quantization & VRAM

Das schnelle Fazit

Bei Llama 3 8B ist Q8_0 laut Perplexität praktisch identisch mit f16, Q4_K_M erhöht sie leicht. Der Perplexitätstest von llama.cpp auf wikitext ergibt 6,2332 für f16, 6,2343 für Q8_0 und 6,4071 für Q4_K_M ohne Importance-Matrix: +0,02 % bzw. +2,8 % (berechnet; llama.cpp-Perplexity-README). Perplexität ist ein Sprachmodell-Maß, kein Aufgaben-Benchmark; sie zeigt daher nicht, wie stark sich eine bestimmte Chat-, Coding- oder Zusammenfassungsaufgabe ändert.

Q4_K_M ist der übliche Standard, weil die Datei von Llama 3.1 8B nur 4,58 statt 7,95 GiB groß ist und in diesem Test nah an f16 bleibt. Wählen Sie Q8_0, wenn Speicher nicht der Engpass ist. Wir haben die Aufgabenqualität nicht selbst gemessen; wenn eine Aufgabe für Sie wichtig ist, testen Sie beide Quantisierungen damit.

Wenn Ihre Ergebnisse mit Q4_K_M schlecht wirken, sind Modellgröße und Prompt-Struktur ein naheliegender erster Prüfpunkt: Die von llama.cpp gemessene Perplexitätslücke zu f16 ist klein.

Direkter Vergleich

Die Tabelle nutzt Dateigrößen von Llama 3.1 8B aus dem llama.cpp-Quantize-README, einen berechneten KV-Cache (32 Schichten, 8 Key-Value-Köpfe, Kopfdimension 128, f16: 0,5 GiB für 4.096 Tokens) und die Perplexität von Llama 3 8B aus dem llama.cpp-Perplexity-README. Beide Formate funktionieren mit Ollama, LM Studio und llama.cpp ohne spezielle Konfiguration.

Für Kontext zu Q4_K_M und K-Quant-Kompression, siehe den Q4_K_M Erklärungsleitfaden. Für die vollständige Quantisierungsreferenz, siehe Quantisierungsstufen verglichen.

Keine der obigen Quellen testet Abruf aus langen Dokumenten, mehrstufige Mathematik oder lange Code-Generierung; diese Seite trifft dazu daher keine Aussage. Q8_0 hat eine niedrigere Perplexität als Q4_K_M; wenn Sie den Speicher haben, ist es nach diesem Maß die risikoärmere Wahl. Testen Sie bei Aufgaben, in denen kleine Fehler zählen, beide. Zur Auffrischung siehe was Q4_K_M bedeutet.

MetrikQ4_K_MQ8_0
Dateigröße (Llama 3.1 8B)4,58 GiB7,95 GiB
VRAM mit 4k-KV-Cache (berechnet, ohne Laufzeit-Overhead)~5,1 GiB~8,5 GiB
Perplexität, Llama 3 8B (f16: 6,23)6,41 (+2,8 %)6,23 (+0,02 %)
Tokens/s, Llama 3.1 8B (README)71,9350,93
Am besten für6–8 GB VRAM12+ GB VRAM

Schnelle Antworten zu Q4_K_M vs. Q8_0

Ist Q8_0 merklich besser als Q4_K_M?▾
Möglicherweise, aber diese Quellen zeigen nicht, wo. Q8_0 hat weniger Quantisierungsfehler: +0,02 % Perplexität vs. f16 bei Llama 3 8B gegenüber +2,8 % bei Q4_K_M (llama.cpp, berechnet). Perplexität misst die Qualität bei Chat, Coding oder Zusammenfassung nicht direkt; testen Sie daher beide mit Ihrer eigenen Aufgabe.
Ist Q8_0 schneller als Q4_K_M?▾
Nein. Q8_0 ist größer und braucht pro Token mehr Speicherbandbreite. Das llama.cpp-Quantize-README nennt für Llama 3.1 8B 71,93 Tokens/s bei Q4_K_M und 50,93 Tokens/s bei Q8_0 (die Geschwindigkeit hängt von der Hardware ab). Siehe was Q4_K_M bedeutet für den Hintergrund.
Kann ich für verschiedene Aufgaben zwischen Q4_K_M und Q8_0 wechseln?▾
Nur durch Herunterladen und Ausführen verschiedener Modell-Tags. In Ollama: ollama pull llama3:8b-instruct-q4_K_M und ollama pull llama3:8b-instruct-q8_0 sind separate Downloads. Sie wechseln, indem Sie den Tag in ollama run angeben.
Was ist mit Q4_K_S — lohnt es sich statt Q4_K_M zu nutzen?▾
Q4_K_S ist 0,22 GiB kleiner als Q4_K_M (4,36 vs. 4,58 GiB bei Llama 3.1 8B) und hat eine höhere Perplexität (6,50 vs. 6,41 bei Llama 3 8B ohne Importance-Matrix). Verwenden Sie Q4_K_S nur, wenn Q4_K_M nicht passt; sonst ist Q4_K_M die bessere Wahl.
MCP