Wichtigste Erkenntnisse
- Unsloth — 75,0k GitHub-Sterne, Apache-2.0. Die README nennt Unterstützung für Multi-GPU-Setups, NVIDIA-, AMD- und Intel-GPUs, CPUs sowie das Vulkan-Backend unter Windows, Linux, WSL und macOS, samt Desktop-Builds. Multi-GPU steht im Open-Source-Projekt nicht hinter einer Bezahlschranke.
- Axolotl — 12,4k Sterne, Apache-2.0. Als einziges der drei dokumentiert es Multi-Node-Training (Torchrun, Ray) sowie ND-Parallelität, die Context-, Tensor- und Fully-Sharded-Data-Parallelität innerhalb einzelner und über mehrere Knoten hinweg kombiniert.
- MLX-LM — 6,8k Sterne, MIT, aus Apples Organisation `ml-explore`, deren eigenes Profil die Arbeit als „by Apple" beschreibt. Unterstützt LoRA und vollständiges Finetuning, quantisierte Modelle sowie verteilte Inferenz und Feinabstimmung über `mx.distributed`.
- Together.ai — überwachtes LoRA-Finetuning für 0,48 $/Mio. Trainings-Token bis 16B Parameter, 1,50 $ bei 17–69B und 2,90 $ bei 70–100B. Vollständiges überwachtes Finetuning kostet deutlich mehr: 1,20 $, 3,75 $ und 7,25 $ in denselben Stufen. Pro Job gilt ein Mindestbetrag von 4,00 $.
- Fireworks.ai — LoRA-SFT ab 0,50 $/Mio. Token bis 16B, steigend auf 10,00 $ oberhalb von 300B; vollparametrisches DPO erreicht in der obersten Stufe 40,00 $/Mio. Die Preisseite formuliert es unmissverständlich: „Serve fine-tuned models for the same price as base models."
- Predibase ist kein eigenständiges Produkt mehr. Rubrik gab die Übernahme am 25. Juni 2025 bekannt, und am 28. August 2026 antwortet predibase.com mit einer HTTP-301-Weiterleitung auf Rubriks Agent-Cloud-Seite. Schicken Sie niemanden zu einem Anmeldeprozess, den es nicht mehr gibt.
- Weder Together.ai noch Fireworks.ai hat ein öffentliches Affiliate- oder Empfehlungsprogramm, das wir im August 2026 finden konnten, und keines der beiden taucht in den einschlägigen Übersichten auf. Sämtliche Links auf dieser Seite sind unvergütet.
🏆 Die beste Wahl für Ihre Situation
Entscheidend ist, ob Sie den Trainingslauf selbst betreiben oder jemanden dafür bezahlen. Lesen Sie die Liste von oben und halten Sie bei der ersten Zeile inne, die auf Sie zutrifft.
- Sie besitzen eine leistungsfähige GPU und wollen den kürzesten Weg zu einem funktionierenden Finetuning → Unsloth. Kostenlos, Apache-2.0 und inzwischen inklusive Multi-GPU und Nicht-NVIDIA-Hardware, womit der frühere Grund zum Wechsel weitgehend entfällt.
- Ihr Trainingslauf passt nicht mehr auf eine Maschine → Axolotl. Multi-Node über Torchrun und Ray sowie ND-Parallelität sind 2026 die echte Trennlinie zu Unsloth.
- Sie arbeiten an einem Mac mit M-Series-Chip → MLX-LM, wenn Sie den schlanksten MLX-nativen Weg wollen. Da Unsloth inzwischen ebenfalls unter macOS läuft, ist das jedoch eine Präferenz und nicht mehr die einzige Option.
- Sie brauchen DPO, ORPO, KTO, GRPO oder Reward Modelling → Axolotl. Die dokumentierte Methodenauswahl ist mit deutlichem Abstand die breiteste der drei.
- Sie besitzen keine GPU und wollen auch keine mieten → Together.ai für transparente Token-Preise oder Fireworks.ai, wenn Sie das abgestimmte Modell anschließend betreiben und keinen Hosting-Aufschlag zahlen wollen.
Lokal oder in der Cloud feinabstimmen?
Stimmen Sie lokal ab, wenn Sie bereits eine leistungsfähige GPU haben und mit mehreren Durchläufen rechnen; nutzen Sie eine Cloud-API, wenn Sie keine Hardware besitzen oder so selten feinabstimmen, dass die Abrechnung pro Job günstiger ist als Ihre eigene Einrichtungszeit. Diese Frage steht vor der Frage nach dem Framework, denn sie entscheidet, welche Hälfte dieser Seite für Sie gilt.
Ehrlich formuliert lautet der Kompromiss: Lokales Training ist pro Lauf günstig und pro Stunde Ihrer Aufmerksamkeit teuer, eine Cloud-API dreht das um. Wer einmal im Quartal feinabstimmt, gewinnt tatsächlich, wenn er um 23 Uhr keine Treiberinkompatibilität debuggen muss. Wer zweimal pro Woche denselben Datensatz durchläuft, sieht die Token-Abrechnung schnell über den Hardwarekosten liegen.
📍 In einem Satz
Stimmen Sie lokal ab, wenn Sie eine leistungsfähige GPU besitzen und häufig iterieren, und nutzen Sie eine Cloud-Finetuning-API, wenn Sie keine Hardware haben oder so selten trainieren, dass die Gebühr pro Job weniger kostet als Ihre eigene Einrichtungszeit.
💬 In einfachen Worten
Eigene Hardware macht jeden Lauf nahezu kostenlos, kostet Sie aber die Einrichtung. Ein gemieteter Dienst kostet ein paar Dollar pro Lauf, dafür starten Sie in Minuten. Was günstiger ist, hängt allein davon ab, wie oft Sie trainieren.
- Trainieren Sie lokal, wenn Sie eine Karte der Klasse RTX 3090/4090 oder besser haben, wöchentlich am selben Datensatz arbeiten oder die Trainingsdaten aus Datenschutz- oder IP-Gründen das Gerät nicht verlassen dürfen.
- Nutzen Sie eine Cloud-API, wenn Sie keine GPU besitzen, ein Modell brauchen, das selbst in 4 Bit nicht auf Ihre Hardware passt, oder verwaltetes Serving gebündelt mit dem Training wollen.
- Beides funktioniert, wenn Sie monatlich ein 7B-Modell feinabstimmen: Bei dieser Frequenz ist der Kostenunterschied klein genug, dass die Bequemlichkeit entscheiden darf.
Die drei lokalen Frameworks im Vergleich
Unsloth, Axolotl und MLX-LM sind 2026 die drei lokalen Finetuning-Frameworks, die sich lohnen — und die Grenzen zwischen ihnen haben sich verschoben. Unsloth war einmal die Einzel-GPU-CUDA-Option und ist heute die breiteste; Axolotls Argument ist die Tiefe im verteilten Training, nicht bloß Multi-GPU; MLX-LM bleibt auf Apple Silicon am schlanksten, ist dort aber nicht mehr die einzige Option. Alle drei sind kostenlos und quelloffen, und bei keinem müssen Ihre Trainingsdaten das Haus verlassen.
Sternzahlen und Lizenzen stammen aus der GitHub-API vom 28. August 2026. Die Angaben zu den Fähigkeiten stammen aus der jeweiligen README.
| Kriterium | Unsloth | Axolotl | MLX-LM |
|---|---|---|---|
| GitHub-Sterne | 75,0k | 12,4k | 6,8k |
| Lizenz | Apache-2.0 | Apache-2.0 | MIT |
| Am besten für | Schnellster Weg auf eigener Hardware | Skalieren über eine Maschine hinaus | Schlanke MLX-native Arbeit am Mac |
| Multi-GPU | Ja, im Open-Source-Projekt | Ja — FSDP1, FSDP2, DeepSpeed | Über mx.distributed |
| Multi-Node | In der README nicht dokumentiert | Ja — Torchrun und Ray | Über mx.distributed |
| Hardware | NVIDIA, AMD, Intel, CPU, Vulkan | CUDA-zentrierter Stack | Nur Apple Silicon |
| Betriebssysteme | Windows, Linux, WSL, macOS | In der Praxis Linux und WSL | macOS |
| Einrichtungsaufwand | Gering — Installer und Desktop-Builds | Mittel — über YAML-Konfiguration | Gering — pip install |
📌Note: Ältere Vergleiche, auch der Entwurf, aus dem diese Seite entstanden ist, beschreiben Multi-GPU als kostenpflichtiges Unsloth-Feature und MLX-LM als Community-Projekt statt als Apple-Projekt. Beide Aussagen widersprechen der aktuellen README beziehungsweise dem Organisationsprofil. Wenn Sie das anderswo lesen, prüfen Sie das Datum.
Unsloth: die lokale Standardwahl
Bei Unsloth sollten die meisten anfangen, und die Gründe dafür sind mehr geworden, nicht weniger. Es hat mit großem Abstand die meisten Sterne der drei, die Lizenz ist Apache-2.0, und die Hardware- und Betriebssystemabdeckung ist inzwischen die breiteste hier.
Unsloth — bestes lokales Framework insgesamt
Kostenlos unter Apache-2.0, Multi-GPU inklusive, läuft auf NVIDIA, AMD, Intel, CPU und macOS
Unsloth schreibt Attention- und Gradienten-Kernel neu, um den VRAM-Bedarf zu senken und LoRA- sowie QLoRA-Training zu beschleunigen — das bleibt der Kern seiner Attraktivität. Verändert hat sich die Reichweite. Die README nennt inzwischen Unterstützung für Multi-GPU-Setups über NVIDIA-, AMD- und Intel-GPUs, CPUs und das Vulkan-Backend, lauffähig unter Windows, Linux, WSL und macOS, mit Desktop-Builds für jedes System. Nichts in der 22 KB großen Apache-2.0-README stellt davon etwas hinter eine Bezahlschranke. Das Projekt ist zudem über eine reine Trainingsbibliothek hinausgewachsen und ähnelt eher einer lokalen Werkbank, mit einer Studio-Oberfläche und einem OpenAI-kompatiblen Serving-Endpunkt. Kostenpflichtige Pro- und Enterprise-Stufen existieren, ihre Preise sind jedoch nicht veröffentlicht: Behandeln Sie jede anderswo genannte konkrete Zahl als ungeprüft.
Vorteile
- +Kostenlos und Apache-2.0, mit Multi-GPU-Unterstützung im Open-Source-Projekt
- +Breiteste Hardwareabdeckung hier: NVIDIA, AMD, Intel, CPU und Vulkan
- +Läuft unter Windows, Linux, WSL und macOS, mit Desktop-Builds
- +Geringster Einrichtungsaufwand der drei — ein Installer statt eines Konfigurationsbaums
Nachteile
- –Multi-Node-Training ist in der README nicht dokumentiert; Axolotl ist hier eindeutiger
- –Pro- und Enterprise-Preise sind nicht veröffentlicht, Budgetierung erfordert also Vertriebskontakt
- –Der wachsende Funktionsumfang bedeutet mehr Oberfläche, als ein Team braucht, das nur eine Trainingsbibliothek will
Axolotl: die Wahl zum Skalieren
Axolotl verdient seinen Platz durch verteiltes Training und Methodenbreite, nicht durch Multi-GPU allein. Da Unsloth inzwischen mehrere GPUs in einem Gehäuse abdeckt, verläuft die ehrliche Trennlinie dort, wo ein Gehäuse nicht mehr genügt.
Axolotl — am besten zum Skalieren über eine Maschine hinaus
Multi-Node über Torchrun und Ray, ND-Parallelität und die breiteste Methodenauswahl
Axolotl wird über Konfigurationsdateien gesteuert, und genau das will man, sobald ein Trainingslauf über einen Cluster hinweg reproduzierbar sein muss statt aus einem Notebook rekonstruiert zu werden. Die README dokumentiert Multi-GPU über FSDP1, FSDP2 und DeepSpeed, Multi-Node über Torchrun und Ray sowie ND-Parallelität, die Context-, Tensor- und Fully-Sharded-Data-Parallelität sowohl innerhalb eines Knotens als auch über mehrere hinweg kombiniert. Expert Parallelism für verteiltes Mixture-of-Experts-Training ist ebenfalls vorhanden. Die Liste der Trainingsmethoden ist mit deutlichem Abstand die breiteste der drei: vollständiges Finetuning, LoRA, QLoRA, GPTQ, quantisierungsbewusstes Training, FP8-Mixed-Precision, Preference Tuning mit DPO, IPO, KTO und ORPO, Reinforcement Learning mit GRPO und GDPO sowie Reward- und Process-Reward-Modelling.
Vorteile
- +Multi-Node-Training über Torchrun und Ray dokumentiert
- +ND-Parallelität kombiniert Context-, Tensor- und Sharded-Data-Parallelität
- +Breiteste Methodenauswahl: DPO, IPO, KTO, ORPO, GRPO, GDPO, Reward- und Process-Reward-Modelling
- +Konfigurationsgesteuerte Läufe sind reproduzierbar und prüfbar, was für Teams zählt
Nachteile
- –Steilere Lernkurve — rechnen Sie mit echter Lesezeit vor dem ersten erfolgreichen Lauf
- –In der Praxis CUDA-zentriert und damit keine Antwort auf AMD-, Intel- oder Apple-Hardware
- –Mehr Maschinerie, als eine Einzelperson mit einem 7B-Modell tatsächlich braucht
MLX-LM: die Wahl für Apple Silicon
MLX-LM ist der schlankeste Weg, auf einem Mac mit M-Series-Chip feinabzustimmen, und setzt direkt auf Apples MLX-Array-Framework auf, statt darauf portiert zu sein. Eine Präzisierung lohnt sich: Die Organisation `ml-explore`, die es pflegt, beschreibt sich selbst als „by Apple" — es handelt sich also um Apples eigene Machine-Learning-Arbeit, nicht um eine unabhängige Community-Portierung.
MLX-LM — beste schlanke Option auf Apple Silicon
MIT-Lizenz, Hugging-Face-Hub-Anbindung, verteiltes Training über mx.distributed
MLX-LM ist ein Python-Paket zur Textgenerierung und zum Feinabstimmen von Sprachmodellen auf Apple Silicon mit MLX. Es bindet den Hugging Face Hub an, sodass Tausende Modelle einen einzigen Befehl entfernt sind, unterstützt das Quantisieren und Hochladen von Modellen zurück in den Hub und beherrscht sowohl Low-Rank- als auch vollständiges Finetuning, auch bei quantisierten Modellen. Es unterstützt zudem verteilte Inferenz und Feinabstimmung über `mx.distributed`, womit die verbreitete Behauptung, es sei strikt ein Werkzeug für eine einzelne Maschine, überholt ist. Plattformübergreifend ist es dagegen nicht: Es hängt von MLX und dem Unified Memory von Apple Silicon ab und kommt unter Windows oder Linux schlicht nicht infrage.
Vorteile
- +Nativ auf MLX und dem Unified Memory von Apple Silicon aufgebaut statt darauf portiert
- +MIT-Lizenz, die freizügigste der drei
- +Verteilte Inferenz und Feinabstimmung über mx.distributed
- +Hugging-Face-Hub-Anbindung zum Laden und Veröffentlichen von Modellen
Nachteile
- –Nur Apple Silicon — unter Windows oder Linux keine Option
- –Mit 6,8k Sternen die kleinste Community der drei, entsprechend weniger ausgearbeitete Beispiele
- –Nicht mehr die einzige Mac-Option, seit Unsloth macOS-Builds ausliefert
Cloud-Plattformen und echte Preise
Together.ai und Fireworks.ai rechnen beide pro Trainings-Token statt pro GPU-Stunde ab, wodurch sich die Kosten eines Jobs vorab abschätzen lassen. Die folgenden Sätze stammen von den öffentlichen Preisseiten der Anbieter vom 28. August 2026. Beachten Sie die Lücke zwischen LoRA und vollständigem Finetuning — dort entstehen die meisten Kostenüberraschungen.
| Stufe und Methode | Together.ai | Fireworks.ai |
|---|---|---|
| LoRA-SFT, bis 16B | 0,48 $ / 1 Mio. Token | 0,50 $ / 1 Mio. Token |
| Volles SFT, bis 16B | 1,20 $ / 1 Mio. Token | 1,00 $ / 1 Mio. Token |
| LoRA-SFT, mittlere Stufe | 1,50 $ (17–69B) | 3,00 $ (16,1–80B) |
| LoRA-SFT, große Stufe | 2,90 $ (70–100B) | 6,00 $ (80–300B) |
| Volles SFT, große Stufe | 7,25 $ (70–100B) | 12,00 $ (80–300B) |
| Oberes Ende der Preisliste | 8,00 $ volles DPO, 70–100B | 40,00 $ volles DPO, über 300B |
| Mindestbetrag pro Job | 4,00 $ | Nicht veröffentlicht |
| Betrieb des Modells | Separat als Inferenz abgerechnet | Gleicher Preis wie Basismodelle |
Wählen Sie Together.ai für die klarste veröffentlichte Stufenstruktur und den niedrigeren Einstiegspreis. Wählen Sie Fireworks.ai, wenn Sie das Modell anschließend betreiben, denn laut deren Angabe kosten feinabgestimmte Modelle im Betrieb so viel wie Basismodelle.
⚠️Warning: Eine vielfach kopierte Angabe beziffert das vollständige Finetuning bei Together.ai auf 0,54 bis 3,20 $ pro Million Token. Das ist tatsächlich die LoRA-DPO-Spanne. Vollständiges überwachtes Finetuning kostet in denselben Parameterstufen 1,20 bis 7,25 $ — mehr als das Doppelte des falsch zitierten oberen Werts. Budgetieren Sie anhand der Anbieterseite, nicht anhand eines Vergleichsartikels.
Was aus Predibase geworden ist
Predibase ist keine eigenständige Self-Service-Plattform für Finetuning mehr, und jeder Ratgeber, der Sie dort noch zur Anmeldung schickt, ist veraltet. Rubrik gab die Übernahme am 25. Juni 2025 bekannt, seinerzeit berichtet von TechCrunch und CNBC und bestätigt durch Rubriks eigenen Newsroom.
Am 28. August 2026 beantwortet predibase.com Anfragen mit einer dauerhaften HTTP-301-Weiterleitung auf Rubriks Agent-Cloud-Produktseite. Dieses Ziel konnten wir nicht direkt auslesen — es antwortet automatisierten Anfragen mit HTTP 403 —, weshalb diese Seite keine Aussagen über das dortige aktuelle Angebot trifft. Belegbar sind die Weiterleitung selbst und die Übernahme dahinter. Wenn Sie einen verwalteten Finetuning-Dienst im Stil von Predibase brauchen, fragen Sie bei Rubrik nach, was davon übrig ist, statt anzunehmen, der alte Anmeldeprozess funktioniere noch.
💡Tip: Das ist eine nützliche Erinnerung für jeden Plattformvergleich: Ein Produkt, das vor anderthalb Jahren eine solide Empfehlung war, kann heute ein toter Link sein. Prüfen Sie den Anbieterstatus bei jeder Aktualisierung neu, statt eine Empfehlung aus dem Gedächtnis fortzuschreiben.
Was ein 7B-Finetuning wirklich kostet
Ein realistischer Instruction-Tuning-Job ist in der Cloud günstiger, als die meisten erwarten, und lokal nahezu kostenlos — weshalb meist die Einrichtungszeit und nicht die Rechenleistung entscheidet. Nehmen Sie 10.000 Beispiele mit durchschnittlich 300 Token: Das sind 3 Mio. Trainings-Token, über drei Epochen also rund 9 Mio. verarbeitete Token. Die Tabelle rechnet mit den oben genannten veröffentlichten Sätzen.
| Weg | Verwendeter Satz | Kosten für 9 Mio. Token |
|---|---|---|
| Together.ai, LoRA-SFT | 0,48 $ / 1 Mio., bis 16B | 4,32 $, der 4-$-Mindestbetrag greift also nicht |
| Together.ai, volles SFT | 1,20 $ / 1 Mio., bis 16B | 10,80 $ |
| Fireworks.ai, LoRA-SFT | 0,50 $ / 1 Mio., bis 16B | 4,50 $ |
| Fireworks.ai, volles SFT | 1,00 $ / 1 Mio., bis 16B | 9,00 $ |
| Gemietete 24-GB-GPU | Stundenmiete, je nach Anbieter | Oft unter einer Stunde Rechenzeit, plus Einrichtung |
| Bereits vorhandene GPU | Nur Grenzkosten für Strom | Pro Lauf faktisch null |
Auf bereits vorhandener Hardware gewinnt lokal ab dem zweiten Lauf. Für gelegentliche Läufe auf gemieteter Hardware vergleichen Sie Miete plus Einrichtung mit dem festen Token-Preis für Ihre tatsächliche Datensatzgröße.
💡Tip: Die Cloud-Beträge hier sind so klein, dass bei einem einzelnen Experiment fast nie das Geld entscheidet. Es geht darum, ob Sie lieber einen Abend in die Einrichtung stecken oder fünf Dollar. Rechnen Sie Ihre eigene Zeit ehrlich mit, und die Antwort ergibt sich meist von selbst.
Wer sollte was nutzen?
Wie oft Sie trainieren und ob Sie Hardware besitzen, entscheidet das — nicht Sternzahlen. Vier Profile decken die meisten Leserinnen und Leser ab.
- Hobby, ein einzelnes Experiment → Together.ai, um Infrastruktur komplett zu umgehen, oder Unsloth auf einer gemieteten GPU. Kaufen Sie für ein einzelnes Experiment keine Hardware.
- ML-Engineer mit wöchentlichen Iterationen → Unsloth auf eigener Hardware. Token-Abrechnung summiert sich bei hoher Frequenz schnell, und Unsloth deckt Multi-GPU inzwischen ohne kostenpflichtige Stufe ab.
- Team, das über mehrere Maschinen trainiert → Axolotl, wegen Multi-Node und ND-Parallelität und weil konfigurationsgesteuerte Läufe reproduzierbar und prüfbar sind, wie Notebooks es nicht sind.
- Start-up, das ein abgestimmtes Modell in Produktion bringt → Fireworks.ai, wenn die Betriebsökonomie im Vordergrund steht, da feinabgestimmte Modelle zu Basismodellpreisen laufen; Together.ai, wenn Sie die klarere Stufenstruktur bevorzugen. Siehe auch lokale LLMs in Produktion betreiben.
Finetuning in der EU, in Japan und in China
Beim Finetuning laden Sie Ihre Trainingsdaten zu demjenigen hoch, der den Job ausführt. Damit wird die Entscheidung zwischen lokal und Cloud in drei wichtigen Märkten zu einer Frage der Datenkontrolle und nicht bloß zu einem Kostenvergleich.
Häufige Fehler bei der Wahl des Finetuning-Stacks
- 1Glauben, Multi-GPU erfordere Unsloths kostenpflichtige Stufe
Why it matters: Das wurde vielfach wiederholt und widerspricht der aktuellen README des Projekts, die Multi-GPU-Unterstützung neben AMD-, Intel-, CPU- und Vulkan-Backends nennt, ohne dass es im Apache-2.0-Repository irgendwo eine Bezahlschranke gäbe. Teams haben ein schwereres Framework eingeführt, nur um Multi-GPU zu bekommen, das sie längst hatten. - 2Vollständiges Finetuning bei Together.ai mit 0,54 bis 3,20 $ pro Million Token angeben
Why it matters: Diese Spanne gilt für LoRA-DPO, nicht für vollständiges überwachtes Finetuning, das in denselben Stufen tatsächlich 1,20 bis 7,25 $ kostet. Ein Budget auf Basis der falschen Zeile unterschätzt ein großes vollständiges Finetuning um mehr als die Hälfte. - 3Leserinnen und Leser zu Predibase schicken
Why it matters: Rubrik hat es im Juni 2025 übernommen, und predibase.com leitet inzwischen per 301 weiter. Jeder Ratgeber, der noch eine Self-Service-Anmeldung bei Predibase beschreibt, wurde seit der Übernahme nicht erneut geprüft. - 4MLX-LM als inoffizielles Community-Projekt behandeln
Why it matters: Die Organisation `ml-explore` beschreibt ihre Arbeit als „by Apple". Wer es als Community-Portierung abtut, verwirft es aus Wartungsrisiko-Gründen, die gar nicht zutreffen. - 5Feinabstimmen, wo Retrieval die Antwort gewesen wäre
Why it matters: Finetuning vermittelt Format, Tonfall und eng umrissene Fähigkeiten. Es ist ein schlechter und teurer Weg, veränderliche Fakten einzubringen, weil deren Aktualisierung erneutes Training bedeutet. Fakten gehören in eine Retrieval-Pipeline — siehe [lokales RAG über eigene Dokumente](/de/local-llms/local-rag-2026).
Überspringen Sie das, wenn…
Wenn Ihre Beschwerde lautet, dass das Modell die Dokumente Ihres Unternehmens nicht kennt, ist Finetuning das falsche Werkzeug — und Sie werden einen Trainingszyklus brauchen, um das herauszufinden. Das ist ein Retrieval-Problem. Eine gut gebaute RAG-Pipeline antwortet aus Dokumenten, die Sie noch heute Nachmittag aktualisieren können, während ein Finetuning sie in Gewichte einbrennt, die Sie zur Korrektur neu trainieren müssten.
Finetuning lohnt sich, wenn Sie ein konsistentes Ausgabeformat, einen bestimmten Tonfall oder eine eng umrissene Fähigkeit brauchen, die sich per Prompt nicht zuverlässig erzeugen lässt. Das sind Verhaltensänderungen, und Verhalten ist genau das, was Training gut verändert. Versuchen Sie zuerst einen strukturierten System-Prompt, dann Retrieval, und greifen Sie erst zum Trainingslauf, wenn beides sichtbar an der konkreten Anforderung gescheitert ist.
💡Tip: Ein praktischer Test: Wenn Sie die richtige Antwort aufschreiben und in den Prompt einfügen können, haben Sie ein Retrieval- oder Prompting-Problem. Wenn Sie nur die Form einer guten Antwort beschreiben können, aber nicht deren Inhalt, ist es ein Finetuning-Problem.
Häufig gestellte Fragen
Welches LLM-Finetuning-Framework ist 2026 das beste?
Unsloth für die meisten, die auf eigener Hardware trainieren, denn die Apache-2.0-Bibliothek ist kostenlos und deckt inzwischen Multi-GPU-Setups über NVIDIA, AMD, Intel, CPU und Vulkan unter Windows, Linux, WSL und macOS ab. Axolotl ist die bessere Wahl, sobald das Training über mehrere Maschinen reicht, da es Multi-Node-Training und ND-Parallelität dokumentiert. MLX-LM ist die schlankeste Option auf Apple Silicon.
Ist Unsloth kostenlos, und unterstützt die kostenlose Version Multi-GPU?
Die Unsloth-Bibliothek ist unter Apache-2.0 kostenlos, und ihre README nennt Multi-GPU-Unterstützung ohne Bezahlschranke im Repository. Kostenpflichtige Pro- und Enterprise-Stufen existieren, ihre Preise sind jedoch nicht veröffentlicht, weshalb jede anderswo genannte konkrete Zahl als ungeprüft gelten sollte. Die verbreitete Behauptung, Multi-GPU erfordere eine kostenpflichtige Stufe, widerspricht der aktuellen Dokumentation des Projekts.
Was kostet Cloud-Finetuning pro Million Token?
Bei Together.ai kostet überwachtes LoRA-Finetuning 0,48 $ pro Million Trainings-Token bis 16B Parameter, 1,50 $ bei 17 bis 69B und 2,90 $ bei 70 bis 100B, mit 4,00 $ Mindestbetrag pro Job. Vollständiges überwachtes Finetuning kostet in denselben Stufen 1,20 $, 3,75 $ und 7,25 $. Bei Fireworks.ai beginnt LoRA-SFT bei 0,50 $ pro Million Token bis 16B und steigt oberhalb von 300B auf 10,00 $.
Kann ich MLX-LM unter Windows oder Linux nutzen?
Nein. MLX-LM baut auf Apples MLX-Framework und dem Unified Memory von Apple Silicon auf und kommt auf anderen Plattformen nicht infrage. Nutzen Sie unter Windows oder Linux Unsloth oder Axolotl. Beachten Sie, dass Unsloth inzwischen auch macOS-Builds ausliefert, Sie auf dem Mac also eine echte Wahl zwischen beiden haben.
Was ist aus Predibase geworden?
Rubrik gab die Übernahme von Predibase am 25. Juni 2025 bekannt. Am 28. August 2026 antwortet predibase.com mit einer HTTP-301-Weiterleitung auf Rubriks Agent-Cloud-Seite statt mit einem eigenständigen Produkt. Klären Sie die aktuelle Verfügbarkeit direkt mit Rubrik, bevor Sie sich in einem neuen Projekt darauf verlassen.
Haben Together.ai oder Fireworks.ai Affiliate-Programme?
Wir haben im August 2026 für keines der beiden ein öffentliches Affiliate- oder Empfehlungsprogramm gefunden, und keines taucht in den einschlägigen Übersichten auf. Ihre Partnerseiten beschreiben Geschäftsintegrationen, keine Empfehlungsprogramme für Publisher. PromptQuorum verdient an den Links auf dieser Seite nichts.
Ist Cloud-Finetuning teurer als lokales?
Das hängt davon ab, wie oft Sie trainieren. Für einen einzelnen Lauf auf einem kleinen Datensatz liegt die Cloud-Gebühr bei wenigen Dollar, was meist unter dem Wert eines Abends für die Umgebungseinrichtung liegt. Bei häufiger Iteration auf bereits vorhandener Hardware ist lokal ab dem zweiten Lauf günstiger, weil die Grenzkosten der Rechenleistung nahe null liegen.
Brauche ich Multi-GPU, um ein 7B-Modell feinabzustimmen?
In der Regel nicht. Eine einzelne Karte der 24-GB-Klasse bewältigt ein 7B-Modell mit QLoRA komfortabel. Multi-GPU ist eher bei größeren Modellen oder vollständigem Finetuning ohne LoRA relevant. Zur VRAM-Dimensionierung siehe den Leitfaden zu den Hardwareanforderungen.
Ist DSGVO-konformes Finetuning mit einer US-Cloud-API überhaupt möglich?
Möglich ja, aber aufwendiger als lokales Training. Sie brauchen einen Auftragsverarbeitungsvertrag nach Artikel 28, eine tragfähige Rechtsgrundlage für die Übermittlung nach den Artikeln 44 bis 49 und eine dokumentierte Folgenabschätzung, wenn der Trainingsdatensatz personenbezogene Daten enthält. Erschwerend kommt hinzu, dass Trainingsdaten in die Modellgewichte eingehen und sich damit schlechter zurückholen lassen als ein einzelner Prompt. Für sensible Datensätze ist lokales Finetuning mit Unsloth oder Axolotl der deutlich einfachere Weg zur Rechtskonformität.
Welches Framework passt zu einem Mittelständler ohne eigenes ML-Team?
Unsloth auf einer einzelnen Workstation mit einer Karte der 24-GB-Klasse. Der Einrichtungsaufwand ist der geringste der drei, die Lizenz ist Apache-2.0 und damit kommerziell unproblematisch, und die Daten verlassen das Haus nicht — was die datenschutzrechtliche Prüfung erheblich verkürzt. Axolotl lohnt sich erst, wenn Sie tatsächlich über mehrere Maschinen trainieren, und bindet sonst nur Personal an ein Konfigurationssystem. Prüfen Sie vorab ernsthaft, ob eine RAG-Pipeline Ihr Problem nicht ohne Training löst: Bei den meisten Mittelstandsanwendungen lautet die Antwort ja.
Fazit
- Nutzen Sie Unsloth, wenn Sie auf eigener Hardware trainieren und den kürzesten Weg zu einem funktionierenden Lauf wollen — nächster Schritt: installieren und ein QLoRA-Finetuning durchführen, bevor Sie Schwereres evaluieren.
- Nutzen Sie Axolotl, wenn Ihr Training über Maschinen reichen muss oder Sie DPO, ORPO, KTO, GRPO oder Reward Modelling brauchen — nächster Schritt: die Multi-Node-Dokumentation lesen, bevor Sie sich festlegen, denn das Konfigurationssystem ist der eigentliche Einstiegspreis.
- Nutzen Sie MLX-LM, wenn Sie auf Apple Silicon arbeiten und den direktesten MLX-Weg wollen — nächster Schritt: mit Unsloths macOS-Build vergleichen, statt es für die einzige Option zu halten.
- Nutzen Sie Together.ai oder Fireworks.ai, wenn Sie lieber keine GPU besitzen — nächster Schritt: Ihren tatsächlichen Datensatz gegen die veröffentlichten Token-Stufen rechnen und dabei die Zeile für vollständiges Finetuning verwenden, nicht die für LoRA-DPO.
- Verzichten Sie auf Finetuning, wenn das Modell schlicht Ihre Dokumente nicht kennt — nächster Schritt: stattdessen eine Retrieval-Pipeline bauen, die Sie ohne erneutes Training korrigieren können.