Skip to main content
PromptQuorumPromptQuorum

GGUF vs. GPTQ vs. AWQ: Welches Quantisierungsformat sollten Sie verwenden?

Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Schnelle Antwort

Nutzen Sie GGUF für lokale Nutzung via Ollama oder llama.cpp — es läuft auf CPU und GPU ohne zusätzliche Anforderungen. Nutzen Sie AWQ statt GPTQ bei Produktions-Serving mit vLLM oder TGI, da es die Qualität bei gleicher Bitbreite besser hält.

  • ▸GGUF: das native Format von llama.cpp — Hybrid-Inferenz auf CPU+GPU, der Standard für Ollama und LM Studio.
  • ▸GPTQ: nur GPU, kalibrierungsbasierte Post-Training-Quantisierung — ein früher Standard für effizientes 4-Bit-Serving.
  • ▸AWQ (Activation-aware Weight Quantization): nur GPU, im Allgemeinen bessere Qualität pro Bit als GPTQ, verbreitet im vLLM/TGI-Produktions-Serving.

Aktualisiert: 2026-07

Quantization & VRAMFortgeschritten

Wichtigste Punkte

  • ✓GGUF: der richtige Standard für lokale Nutzung — läuft auf CPU und GPU via llama.cpp/Ollama, keine CUDA-only-Anforderung
  • ✓GPTQ: nur GPU, ein früher Standard für 4-Bit-Serving, weiterhin von ExLlama und vLLM unterstützt
  • ✓AWQ: nur GPU, hält die Qualität bei gleicher Bitbreite im Allgemeinen besser als GPTQ — bevorzugt für Produktions-Serving
  • ✓Wer Ollama oder LM Studio lokal betreibt, will fast sicher GGUF, nicht GPTQ oder AWQ

Beste Wahl: GGUF für lokale Nutzung, AWQ für Produktions-Serving

GGUF ist das richtige Quantisierungsformat für fast jeden, der Modelle lokal über Ollama, LM Studio oder direkt llama.cpp betreibt — es unterstützt sowohl CPU- als auch GPU-Inferenz aus derselben Datei, einschließlich teilweisem CPU-Offload, wenn ein Modell nicht vollständig in den VRAM passt. Diese Flexibilität ist genau der Grund, warum GGUF zum Standardformat für lokale Consumer-LLM-Tools wurde: Es funktioniert, ob Sie eine leistungsstarke GPU, eine bescheidene oder gar keine haben.

GPTQ war eine der frühesten, weitverbreiteten 4-Bit-Quantisierungsmethoden für effiziente GPU-Inferenz. Es nutzt einen Kalibrierungsdatensatz, um Qualitätsverluste bei der Post-Training-Quantisierung zu minimieren, ist aber reines GPU-Format — es gibt keinen sinnvollen CPU-Fallback-Pfad — und wurde bei Qualität pro Bit im Allgemeinen von neueren Methoden überholt.

AWQ (Activation-aware Weight Quantization) ist die modernere, reine GPU-Alternative zu GPTQ. Indem es die Gewichte schützt, die für die Aktivierungsgröße am wichtigsten sind, statt alles einheitlich zu quantisieren, bewahrt AWQ im Allgemeinen mehr Qualität bei gleicher Bitbreite. Es ist eine verbreitete Wahl für Produktions-Serving-Stacks wie vLLM und TGI, wo reiner GPU-Betrieb ohnehin gegeben ist.

GGUF vs. GPTQ vs. AWQ auf einen Blick

Wählen Sie GGUF, wenn Sie Ollama, LM Studio oder llama.cpp lokal betreiben — es ist das einzige der drei mit echtem CPU-Support und flexiblem Teil-Offload. Wählen Sie GPTQ nur, wenn Sie mit einer bestehenden Pipeline oder einem Tool arbeiten (wie älteren ExLlama-Setups), das dies speziell erwartet. Wählen Sie AWQ, wenn Sie auf einen Produktions-GPU-Serving-Stack (vLLM, TGI) deployen und die beste Qualität pro Bit unter den reinen GPU-Optionen wollen.

Alle drei repräsentieren dasselbe zugrunde liegende Modell bei reduzierter Präzision — das Format bestimmt, welche Tools es laden können und wie elegant es mit GPU-Speicherengpässen umgeht, nicht die zugrunde liegende Fähigkeit des Modells.

Weiterführende Artikel

Häufig gestellte Fragen

Kann ich ein GPTQ- oder AWQ-Modell zu GGUF konvertieren?▾
Im Allgemeinen konvertiert man von den ursprünglichen vollpräzisen Gewichten direkt zu GGUF, statt zwischen zwei bereits quantisierten Formaten zu konvertieren — quantisiert-zu-quantisiert verstärkt den Präzisionsverlust. Haben Sie nur einen GPTQ/AWQ-Checkpoint, suchen Sie stattdessen nach der vollpräzisen Original-Veröffentlichung zum Konvertieren.
Ist GGUF auf einer GPU langsamer als GPTQ oder AWQ?▾
Auf einer GPU, auf der das Modell vollständig in den VRAM passt, ist gut optimierte GGUF-Inferenz konkurrenzfähig mit GPTQ/AWQ. Die Lücke zählt, wenn ein Modell nicht vollständig passt — GGUF lagert elegant auf die CPU aus, während GPTQ/AWQ das im Allgemeinen nicht können.
Welches K-Quant-Level sollte ich innerhalb von GGUF verwenden?▾
Q4_K_M ist der gängigste ausgewogene Standard. Siehe den eigenen Vergleich Q4_K_M vs. Q8_0 für den vollständigen Kompromiss zwischen Dateigröße und Qualität über die Quant-Level von GGUF hinweg.
Unterstützt Ollama GPTQ- oder AWQ-Modelle direkt?▾
Nein — Ollama ist speziell um GGUF herum aufgebaut. Um einen GPTQ- oder AWQ-Checkpoint zu nutzen, brauchen Sie ein anderes Serving-Tool (vLLM, TGI oder ExLlama), das für dieses Format ausgelegt ist.

Verwandte Prompt Bites

← Zurück zu Prompt-Häppchen