Wie konvertiert man ein Modell mit llama.cpp in GGUF?
Schnelle Antwort
Führen Sie das Konvertierungsskript von llama.cpp gegen ein Modellverzeichnis im Hugging-Face-Format aus und geben Sie einen Ausgabetyp wie f16 (volle Präzision) oder ein quantisiertes Format wie q4_k_m an. Das Skript liest die Gewichte und die Konfiguration des Modells ein, schreibt sie in eine einzelne .gguf-Datei, und diese Datei kann direkt von llama.cpp, Ollama oder LM Studio geladen werden.
- ▸Das Quellmodell muss vor der Konvertierung im Hugging-Face-Format vorliegen (safetensors oder PyTorch-Checkpoint)
- ▸Wählen Sie einen Ausgabetyp: f16/f32 für volle Präzision, oder einen quantisierten Typ, um in einem Schritt zu konvertieren und zu verkleinern
- ▸Separates Quantisieren nach einer f16-Konvertierung gibt mehr Kontrolle als das Quantisieren während der Konvertierung
Aktualisiert: 15. Juli 2026
Technique & Concept ExplainersFortgeschritten
Wichtigste Punkte
- ✓Die GGUF-Konvertierung liest die Gewichte und Metadaten eines Modells im Hugging-Face-Format ein und schreibt sie in eine einzelne portable .gguf-Datei
- ✓Konvertieren Sie zunächst zu f16/f32, wenn Sie mehrere Quantisierungsstufen ausprobieren möchten — das Quantisieren einer bereits quantisierten Konvertierung verliert mehr Qualität als das Quantisieren aus voller Präzision
- ✓Der bei der Konvertierung gewählte Ausgabetyp bestimmt sowohl die Dateigröße als auch die Inferenzqualität — hier gibt es kein kostenloses Mittagessen
- ✓Die meisten Konvertierungsfehler lassen sich auf ein inkompatibles oder unvollständiges Quellmodellverzeichnis zurückführen, nicht auf das Konvertierungsskript selbst
Der Konvertierungsprozess
Die Konvertierung umfasst drei praktische Schritte: das Quellmodell vorbereiten, das Konvertierungsskript mit einem Ausgabetyp ausführen und — falls Sie zu voller Präzision konvertiert haben — anschließend quantisieren.
- ▸**1. Quellmodell vorbereiten:** Das Konvertierungsskript erwartet ein Verzeichnis im Hugging-Face-Format mit den Gewichtsdateien des Modells (safetensors wird gegenüber veralteten PyTorch-`.bin`-Checkpoints bevorzugt) sowie dessen Konfigurations- und Tokenizer-Dateien. Ein teilweise heruntergeladenes oder manuell zusammengestelltes Verzeichnis ohne Tokenizer-Dateien ist die häufigste Ursache für Konvertierungsfehler.
- ▸**2. Konvertierungsskript mit einem Ausgabetyp ausführen:** `python convert_hf_to_gguf.py
--outtype f16` erzeugt eine GGUF-Datei in voller Präzision. Die Übergabe eines quantisierten `--outtype` (z. B. `q8_0`) quantisiert in einem Schritt während der Konvertierung, gibt Ihnen jedoch weniger Kontrolle, als zunächst zu f16 zu konvertieren und anschließend mit einem eigenen Quantisierungswerkzeug separat zu quantisieren. - ▸**3. Separat quantisieren für mehr Kontrolle (optional, aber empfohlen):** Führen Sie ausgehend von einer f16-GGUF-Datei das Quantisierungswerkzeug von llama.cpp aus, um mehrere quantisierte Varianten (z. B. q4_k_m, q5_k_m) aus derselben Quelle voller Präzision zu erzeugen. So können Sie Qualitäts-/Größen-Kompromisse vergleichen, ohne die Konvertierung jedes Mal erneut auszuführen.
Häufige Konvertierungsfehler
Die meisten Konvertierungsfehler lassen sich einer kleinen Zahl von Kategorien zuordnen, die fast immer auf das Quellmodell und nicht auf das Skript selbst zurückzuführen sind.
- ▸**Nicht erkannte Architektur:** Das Konvertierungsskript führt eine interne Liste unterstützter Modellarchitekturen. Eine sehr neue oder ungewöhnliche Architektur wird möglicherweise noch nicht unterstützt — prüfen Sie die aktuelle Architekturliste des Werkzeugs, bevor Sie annehmen, die Modelldateien seien defekt.
- ▸**Fehlende Tokenizer-Dateien:** Die Konvertierung benötigt die Tokenizer-Konfiguration zusätzlich zu den Gewichten. Ein Modellverzeichnis mit nur Gewichtsdateien und ohne Tokenizer-Dateien schlägt mitten in der Konvertierung fehl.
- ▸**Nicht übereinstimmende Dateiformat-Erwartungen:** Veraltete PyTorch-`.bin`-Checkpoints benötigen je nach Werkzeugversion manchmal einen zusätzlichen Konvertierungsschritt zu safetensors — bevorzugen Sie den Download von Modellen, die bereits im safetensors-Format vorliegen, um dies vollständig zu vermeiden.
- ▸**Unzureichender Speicherplatz oder Arbeitsspeicher während der Konvertierung:** Die Konvertierung lädt das Modell in voller Präzision in den Arbeitsspeicher, bevor sie es schreibt. Sie benötigt daher etwa so viel Arbeitsspeicher wie die volle Präzisionsgröße des Modells, plus den Speicherplatz für die Quelldateien und die Ausgabe-GGUF-Datei gleichzeitig.
Häufig gestellte Fragen
Sollte ich während der Konvertierung quantisieren oder zunächst in voller Präzision konvertieren?▾
Konvertieren Sie zunächst in voller Präzision (f16), wenn Sie mehrere Quantisierungsstufen vergleichen möchten — separates Quantisieren im Anschluss aus derselben f16-Quelle liefert genauere Ergebnisse als das direkte Quantisieren aus einem Quellmodell während der Konvertierung und ermöglicht es Ihnen, mehrere quantisierte Varianten zu erzeugen, ohne den Konvertierungsschritt zu wiederholen.
Warum lässt sich meine konvertierte GGUF-Datei nicht in Ollama oder LM Studio laden, obwohl die Konvertierung erfolgreich war?▾
Eine erfolgreiche Konvertierung garantiert nicht, dass das Ladewerkzeug diese spezifische Architektur oder GGUF-Version unterstützt. Prüfen Sie, ob die Version Ihres Ladewerkzeugs aktuell ist — sowohl das GGUF-Format als auch die Architekturunterstützung entwickeln sich weiter, und eine ältere Werkzeugversion erkennt möglicherweise eine von einem neueren Konvertierungsskript erzeugte Datei nicht.
Wie viel Speicherplatz benötigt die Konvertierung?▾
Kalkulieren Sie mit der vollen Größe des Quellmodells plus der Größe der Ausgabe-GGUF-Datei gleichzeitig — bei einer Konvertierung in voller Präzision verdoppelt sich der Speicherbedarf des Modells während des Vorgangs ungefähr. Quantisierte Ausgabedateien sind kleiner, aber die Quelldateien müssen bis zum Abschluss der Konvertierung vorhanden bleiben.
Kann ich ein bereits feinabgestimmtes Modell konvertieren?▾
Ja — der Konvertierungsprozess funktioniert bei einem feinabgestimmten Modell genauso wie bei einem Basismodell, solange die feinabgestimmten Gewichte in einem standardmäßigen, mit Hugging Face kompatiblen Format gespeichert sind. Wenn beim Fine-Tuning Adapter-Gewichte (wie LoRA) statt vollständiger Gewichte verwendet wurden, führen Sie den Adapter zunächst mit dem Basismodell zusammen und konvertieren Sie dann das zusammengeführte Ergebnis.