Unsloth auf einem 24-GB-Mac: Eine ausgereifte App, aber Speicher voll, bevor das erste Bild entstand

Der Installer ist ein DMG mit 24 MB, vom Tester gelesen als 'the smallest file I've ever seen'.

Erstes Fenster: 'Getting things ready... This won't take long.' mit einem Link 'Show setup details'. Der Tester: 'Already feels much more polished than the other apps... a clear communication.'

Das Detailprotokoll lautet: 'Updating existing Unsloth install', 'frontend bundled (Tauri)', 'node v24.13.0 | npm 11.6.2 (system)', 'unsloth 2026.8.18 -> 2026.10.3 available, updating', danach eine Abhängigkeitsleiste mit 13 Schritten (pip bootstrap, MLX-Stack für Apple Silicon, Basispakete, Unsloth-Extras, Codecs, Overrides, Studio-Abhängigkeiten, Data Designer, lokales Plugin, Diffusers-Pin, Abschluss). Hinweise: 'torch 2.10.0 detected -- installing torchao==0.16.0'; 'transformers 5.3.0, 5.5.0, 5.10.2 pre-installed'; 'gpu Apple Silicon (Metal, unified memory)'; 'installing prebuilt llama.cpp'.

Der Tester sagt, es sei etwa vier oder fünf Minuten gelaufen, dann habe sich die App geöffnet. Das Protokoll zeigt keine Zeitschätzung und keine Angabe zum Speicherplatz.

Vier bis fünf Minuten für die Einrichtung. Nicht gestoppt.

Das kleine DMG lädt vermutlich den Großteil der Software in diesem ersten Schritt nach. Nicht geprüft.

'It gives me the details about what it does -- great -- but it doesn't tell me anything about estimated time, volumes, how much disk space it takes up.'

Das Hauptfenster öffnet sich mit 'How can I help?' und einer Seitenleiste: New chat, Model hub, Library, Images, Train, More. Das Logo trägt die Kennzeichnung BETA.

Der Test begann von einer bestehenden Installation aus ('same as before'), ist also ein Update und kein Erststart-Test. Schlüsse zum Onboarding brauchen eine saubere Installation zur Bestätigung.

Die Modellauswahl listet Recommended models mit Zahlen wie 27.3B und 271.0M. Das sind Parameterzahlen, keine Gigabyte. Zwei Einträge sind ausgegraut (176.9B und 320.8B).

Ausgegraute Einträge sind vermutlich zu groß für diesen Rechner. Die erfasste App-Ansicht sagt das nicht.

'There were lots of models listed with the size. Very good.' Die gezeigten Zahlen sind Parameterzahlen; sie sagen dem Leser also nicht, wie viel Speicher ein Modell braucht.

Statt ein Modell zu wählen, tippte der Tester eine Rechenaufgabe ein. Die App begann von selbst, Modelle zu laden. Laut Notizen startete ein Qwen3.8-27B-MLX-Modell mit 4 Bit in unter einer Minute; ein zweiter Hinweis zeigte das Laden von Mistral-7B-Instruct-v0.3-4bit (Screenshot nicht verwendet, gleiche Art wie Abbildung 5).

Der Lade-Hinweis zeigt den Pfad /Users/hanskuepper/.lmstudio/models/lmstudio-community/Qwen3.8-27B-MLX-4bit. Das Modell wurde aus dem Ordner von LM Studio auf der Festplatte gelesen.

Er vermutete, es komme von der Festplatte, weil 'that's a big model that doesn't go over the internet in one minute'. Der Pfad stützt das. Warum Unsloth dieses Modell und das Mistral-Modell gewählt hat, wurde nicht erfasst.

Die Frage 'what is 5 times 866' wurde nach 'Worked for 10s' mit '5 x 866 = 4,330' beantwortet (richtig), bei 11,0 tok/s. Die Kopfzeile zeigt 'Local' und eine Kontextanzeige '120 / 262.1k'.

Danach fragte der Tester das Modell, woher es das Modell habe. Der erfasste Teil der Antwort handelt von MLX-Gewichten und dem Unified Memory von Apple Silicon; die vollständige Antwort wurde nicht erfasst. Laut Notizen lautete die Antwort, die App durchsuche die Festplatte nicht.

Die Selbstauskunft des Chat-Modells über die App ist kein verlässlicher Beleg. Eine Antwort nennt das Modell 'Qwen 3 27B MLX 4-bit', während die App es Qwen3.8-27B-MLX-4bit nennt.

Der Tab On Device listet Modelle nach Quelle. Unter CUSTOM FOLDERS erscheinen zwei Pfade (.lmstudio/models und .ollama/models) mit den Ollama-Modellen gemma4:latest, gemma3:1b und qwen3-coder:30b. Unter LM STUDIO ist das Modell Qwen3.8-27B als 'Loaded' markiert.

Entweder hat der Tester die beiden Ordner hinzugefügt oder die App hat sie selbst gefunden. Nicht erfasst. Frühere Nutzung der App könnte sie eingerichtet haben.

Der Wechsel zu qwen3-coder:30b (30.5B, Q4_K_M, GGUF) zeigt 'Starting model... Switching models. Loading cached model into memory.' mit einem Cancel-Button. Die Kontextanzeige steht auf '1.3k / 8.2k', viel kleiner als die 262.1k des ersten Modells.

'I like how easy to change models.' 'Some Ollama models do not work inside Unsloth, but great that it tried at least.'

Laut Notizen funktionierte ein älteres Modell, und ein neueres stürzte ab. Welche Modelle gemeint waren, wurde nicht erfasst.

Er findet es 'great that it tried', seine Ollama-Modelle zu nutzen, und dass das Lesen bereits vorhandener Modelle einen weiteren großen Download erspart.

Der Hub zeigt das Gerät: '0 GiB VRAM + 24 GiB shared', '24 GiB RAM', '12/12 CPU', dazu Filter (Format, Fähigkeiten, Neueste). Karten zeigen Likes, Downloads, Alter und Lizenz (embeddinggemma-2-GGUF: apache-2.0, 1,5 GB).

'Yes, great model hub.' Der Hub listet unter anderem Qwen-Image-2.1-GGUF (850.0K Downloads, 16 Tage alt), GLM-5.3-GGUF und Qwen3.8-Flash-Next-GGUF.

Laut Notizen gab das Anklicken einer für den Mac zu großen Datei mehrere Warnungen ('this file is 30 to 40 gigabytes total'); der Download bleibt erlaubt. Kein Screenshot.

Das Download-Fenster für unsloth/Qwen3.8-27B-GGUF UD-Q5_K_S zeigt 1,2 GB von 20 GB bei 1,4 MB/s, noch 3 h 47 min; später 7,1 GB von 20 GB bei 983 KB/s, noch 3 h 31 min.

'The professionalism of this app is visible. It has a timer attached. It tells you the download speed.'

Die Geschwindigkeiten deuten auf eine langsame Verbindung am Testort hin; der Tester sagt das nicht. Ob der Download abgeschlossen wurde, wurde nicht erfasst.

Der Dialog für Z-Image (BF16) listet Modelldateien mit 12,3 GB plus nötigem Encoder und Decoder mit 8,2 GB, zusammen 20,5 GB. Das erklärt die 'difference between the gigabytes that the model has and then something else', die der Tester an anderer Stelle erwähnt.

Die Notizen sagen 'the picture LLM was downloaded'. Welches, wurde nicht erfasst; die Screenshots zeigen die Bildmodelle FLUX.2-klein-4B und seine GGUF-Variante auf dem Gerät (Abbildung 18).

Der Tester fügte die URL einer PromptQuorum-Seite ein und fragte 'from a seo perspective will this help me?'. Der Chat zeigt 'Using tool: Reading promptquorum.com' und 'Waiting for approval: web_search' mit den Buttons Allow, Always allow und Deny. Zeitstempel 17:13 Uhr; Kontext '648 / 34.4k'.

Laut Notizen sagte der erste Versuch, die Seite sei nicht lesbar; nach einem Klick auf die Search-Funktion klappte es beim zweiten Mal. 'Maybe the first time should have had a warning.'

Der erste Fehlschlag könnte an der fehlenden Freigabe der Websuche oder an ausgeschaltetem Search-Schalter gelegen haben. Nicht überprüft.

Der Lauf endete nach 168,10 s mit 'Ran out of memory. Try a smaller model or shorter input.' und einem Retry-Button.

Spracheingabe ist eingebaut. Ihre Nutzung verlangt den Download des Sprachmodells 'Qwen3-ASR 0.6B' mit etwa 1,0 GB, das laut App einmalig in den Hugging-Face-Cache geladen wird. Ob der Tester es herunterlud, wurde nicht erfasst.

Eine lokale Veranstaltungssuche ('What is happening tonight in Heidelberg, Germany?') lief durch zwei Runden mit Tool-Aufrufen und endete nach 110,65 s mit 'Ran out of memory'. Die Kopfzeile zeigt einen roten Hinweis: 'Failed to load model: No safetensors found in /Users/.../.cache/huggin...'.

Der Ladefehler und die Speichermeldung könnten zusammenhängen (ein Modell wurde getauscht, während der Speicher knapp wurde). Der Screenshot zeigt keinen Zusammenhang.

'But yes, local AI, always some issues.'

Das Ziel des Testers waren Bilder. Die Seitenleiste hat den Eintrag 'Images'. Die Notizen zeigen einen langen New-York-Skyline-Prompt (Blick auf Brooklyn, Brooklyn Bridge, goldene Stunde, 8K-Detail) mit Listen zu Komposition und zu Vermeidendem. Zu ihm sind weder Ergebnis noch Fehler oder Einstellungen erfasst.

Das Laden des Bildmodells flux.2-klein wurde abgelehnt: 'needs about 17 GB of memory for its weights, but only about 2 GB is usable on this device (of the 7 GB currently free, after reserving room for the operating system)'. Die Meldung ergänzt, der Mac habe nur einen Speicherpool, Auslagern auf die CPU gebe nichts frei, und schlägt ein kleineres Modell, eine niedrigere Quantisierung oder das Schließen anderer Apps vor. Als Umgehung nennt sie UNSLOTH_DIFFUSION_ALLOW_OVERSIZED_LOAD=1.

Nach einem sauberen Neustart lautet die Meldung: etwa 17 GB nötig, etwa 6 GB nutzbar, von derzeit 11 GB frei.

Die beiden Meldungen unterscheiden sich in beiden Paaren um 5 GB (7 - 2 und 11 - 6); die App scheint also etwa 5 GB für das Betriebssystem zurückzuhalten. Nur zwei Datenpunkte.

Die Geräteliste zeigt FLUX.2-klein-4B-GGUF (7,8 GB), FLUX.2-klein-4B (16 GB) und mistral-7b-v0.3-bnb-4bit (4,1 GB). Der Tester: 'This should be small enough.' Er sagt, das kleinste Bildmodell im Hub bringe seinen 24-GB-Rechner zum Absturz, und die angeklickten Modelle hätten alle gemeldet, sie seien zu groß, weil nur 'seven gigabytes' verfügbar seien.

Der Tester fragt sich, warum nur sieben Gigabyte verfügbar sind ('I have much more'). Der Dialog nennt 7 GB als in diesem Moment frei und dass die anderen Apps liefen; nach dem Neustart nennt er 11 GB. Die Notizen stellen die Bemerkung '7 GB' neben den Z-Image-Dialog; die Zahl 7 GB steht in der Meldung zu flux.2-klein.

'I'm lost... I have a 24-gigabyte machine and I cannot find an LLM that can serve me and can do the job.' Er meint, 24 GB seien mehr, als über 80 Prozent seiner Leser haben (seine Schätzung, kein gemessener Wert).

'More than 80% of my readers' haben 24 GB oder weniger. Quelle nicht genannt.

Der Tester folgert, dass lokale Modelle und die tägliche Arbeit um denselben Speicher konkurrieren und dass Chrome und andere Apps 5 bis 8 GB belegen. Er schrieb durchgehend 'VRAM'; Apple Silicon hat einen einzigen Speicherpool, wie der Hub sagt ('0 GiB VRAM + 24 GiB shared').

Aktivitätsanzeige, eine Aufnahme: Speicher belegt 12,92 GB, zwischengespeicherte Dateien 10,95 GB, App-Speicher 9,81 GB, reserviert 1,83 GB, Swap 0.

Aktivitätsanzeige, eine andere Aufnahme: Speicher belegt 9,67 GB, zwischengespeicherte Dateien 8,14 GB, App-Speicher 6,97 GB, reserviert 1,71 GB, Swap 0. Der kurze Verlaufsgraph passt zu einem frischen Start.

Die 11 GB 'currently free' in Abbildung 15 passen zu 24,00 - 12,92 = 11,08 GB aus Abbildung 16. Ob beide zur selben Zeit aufgenommen wurden, wurde nicht erfasst.

'Even after reboot, already nine gigabytes gone for general things.' 'Either I shut the computer down, reboot, stop all the processes... or I cannot run the LLM.'

Zwei mögliche Antworten: Modelle müssen kleiner und besser werden, oder Computer brauchen 48 oder 64 GB. 'All of this talk about this works on your computer is a little bit fake.'

Dass 48 oder 64 GB das 'confidently' lösen würden, ist ungetestet.

Beim Start eines Modells erscheint ein Hinweis 'Starting model... Loading cached model into memory.' mit Spinner und Cancel. Keine Prozentzahl, Größe oder Zeit.

Die Wartezeit lag über zwei oder drei Minuten (nicht gestoppt).

'The worst way you can treat a client is to do the work and not update the client.' Der Tester nennt dies ein Problem der Benutzeroberfläche.

Anzeigen in der Kopfzeile zeigen die verbrauchten Tokens im Verhältnis zum Kontext (zum Beispiel '648 / 34.4k') und die Tokens pro Sekunde (11.0 tok/s).

Die Notizen sagen 'no token counter'. Die Screenshots zeigen eine Kontextanzeige und einen Wert für Tokens pro Sekunde. Gemeint war vielleicht eine Token-Zahl pro Nachricht (Annahme).

Die Notizen nennen ein lokales Chat-Modell 'the most stupid idea', weil es 'does not research the internet'. Dieselben Notizen und Screenshots zeigen eine Search-Funktion, eine Freigabeabfrage für die Websuche und Tool-Aufrufe, die eine Seite lesen.

Er will keine Modelle trainieren; die Chat-Funktion nützt ihm wenig; er will ein Bild- und Videowerkzeug und 'is not seeing it yet'. Training und der Tab 'Train' wurden nicht ausprobiert.

'Maybe it's on my side, but no, not for me. I'll check again in three or six months, but currently not on a M3 24 GB Pro MacBook.'