Ollama-Modelle in das MLX-Format konvertieren
Schnelle Antwort
Sie können Ollama-Modelle nicht direkt in MLX konvertieren. Laden Sie stattdessen die originalen GGUF- oder SafeTensors-Gewichte von Hugging Face herunter und konvertieren Sie diese mit mlx-lm convert. Für die meisten gängigen Modelle (Llama 3, Qwen, Mistral) existieren auf Hugging Face bereits vorkonvertierte MLX-Versionen unter der mlx-community-Organisation.
- ▸Ollama-Modelle können nicht direkt konvertiert werden — das Modellformat ist unterschiedlich
- ▸Vorkonvertierte MLX-Modelle sind auf huggingface.co/mlx-community für die meisten gängigen Modelle verfügbar
- ▸Selbst konvertieren: von Hugging Face herunterladen, dann mlx_lm.convert ausführen
Aktualisiert: 2026-05
Wichtigste Punkte
- ✓Ollama speichert Modelle in einem eigenen internen Format unter ~/.ollama/models — diese können nicht direkt in MLX importiert werden
- ✓Die mlx-community-Organisation auf Hugging Face bietet vorkonvertierte MLX-Versionen von Llama 3, Qwen, Mistral, Phi, Gemma und vielen anderen — prüfen Sie dort zuerst, bevor Sie konvertieren
- ✓Wenn keine vorkonvertierte Version existiert, laden Sie die originalen SafeTensors-Gewichte von Hugging Face herunter und führen Sie mlx_lm.convert aus — die Quantisierung wird während der Konvertierung angewendet
Schritt 1: Nach einem vorkonvertierten MLX-Modell suchen
Besuchen Sie zunächst huggingface.co/mlx-community, bevor Sie irgendetwas konvertieren. Die Community pflegt Hunderte von Modellen, die bereits für MLX konvertiert und quantisiert wurden. Suchen Sie nach dem Modellnamen — wenn es dort vorhanden ist, benötigen Sie nur einen Befehl ohne Konvertierung.
Wenn eine vorkonvertierte Version existiert, führen Sie das Modell direkt mit mlx-lm aus:
pip install mlx-lm
mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-4bit --prompt "Hello"Schritt 2: Modell selbst konvertieren (falls nicht vorkonvertiert)
Wenn das gewünschte Modell nicht in mlx-community vorhanden ist, laden Sie die originalen SafeTensors-Gewichte aus dem Hugging-Face-Repo des Modellautors herunter (nicht von mlx-community) und führen dann den Konverter aus. Das Flag -q wendet während der Konvertierung 4-Bit-Quantisierung an:
Die Konvertierung dauert je nach Modellgröße 2–10 Minuten. Das Ergebnis ist ein Verzeichnis mit .safetensors-Shards sowie einer mlx-kompatiblen Tokenizer-Konfiguration.
pip install mlx-lm
mlx_lm.convert --hf-path original-org/model-name --mlx-path ./converted-model -qVerwandte Leitfäden
- ▸Ollama + MLX auf Apple Silicon -- Ollama + MLX on Apple Silicon
- ▸MLX vs Ollama vs llama.cpp auf dem Mac -- MLX vs Ollama vs llama.cpp on Mac
- ▸Beste Ollama-Modelle nur für CPU -- best Ollama models CPU-only
- ▸Beste eGPU-Einrichtung für MacBook Local LLM 2026 -- eGPU setup for MacBook
Schnelle Antworten zur MLX-Modellkonvertierung
Kann ich ein Modell aus Ollama exportieren und in MLX importieren?▾
Unterstützt mlx-lm GGUF-Dateien als Konvertierungseingabe?▾
Welche Modelle haben vorkonvertierte MLX-Versionen?▾
Welche Quantisierung sollte ich bei der MLX-Konvertierung verwenden?▾
-q). Bei einem 7B-Modell ergibt das ein ~4 GB großes Modell, das auf M1/M2/M3/M4-Chips gut läuft. Verwenden Sie 8-Bit nur, wenn Sie 32 GB oder mehr haben und höhere Ausgabequalität benötigen.