Unsloth sur un Mac de 24 GB : une application soignée, mais mémoire saturée avant la première image

L'installateur est un DMG de 24 MB, que le testeur décrit comme 'the smallest file I've ever seen'.

Première fenêtre : 'Getting things ready... This won't take long.' avec un lien 'Show setup details'. Le testeur : 'Already feels much more polished than the other apps... a clear communication.'

Le journal détaillé indique : 'Updating existing Unsloth install', 'frontend bundled (Tauri)', 'node v24.13.0 | npm 11.6.2 (system)', 'unsloth 2026.8.18 -> 2026.10.3 available, updating', puis une barre de dépendances en 13 étapes (amorçage de pip, pile MLX pour Apple Silicon, paquets de base, extras d'unsloth, codecs, remplacements, dépendances de Studio, data designer, plugin local, version figée de diffusers, finalisation). Notes : 'torch 2.10.0 detected -- installing torchao==0.16.0' ; 'transformers 5.3.0, 5.5.0, 5.10.2 pre-installed' ; 'gpu Apple Silicon (Metal, unified memory)' ; 'installing prebuilt llama.cpp'.

Le testeur dit que cela a duré environ quatre ou cinq minutes, puis l'application s'est ouverte. Le journal n'affiche aucune estimation de durée ni d'espace disque.

Quatre à cinq minutes pour la configuration. Non chronométré.

Le petit DMG télécharge probablement l'essentiel du logiciel pendant cette première étape. Non vérifié.

'It gives me the details about what it does -- great -- but it doesn't tell me anything about estimated time, volumes, how much disk space it takes up.'

La fenêtre principale s'ouvre sur 'How can I help?' avec une barre latérale : New chat, Model hub, Library, Images, Train, More. Le logo porte la mention BETA.

Parti d'une installation existante ('same as before') : il s'agit donc d'une mise à jour, pas d'un test de premier lancement. Les conclusions sur la prise en main demandent une installation propre pour être confirmées.

Le sélecteur de modèles liste des modèles Recommended avec des chiffres comme 27.3B et 271.0M. Ce sont des nombres de paramètres, pas des gigaoctets. Deux entrées sont grisées (176.9B et 320.8B).

Les entrées grisées sont probablement trop grandes pour cette machine. La vue de l'application capturée ne le dit pas.

'There were lots of models listed with the size. Very good.' Les nombres affichés sont des nombres de paramètres : ils n'indiquent donc pas au lecteur la mémoire dont un modèle a besoin.

Au lieu de choisir un modèle, le testeur a tapé une demande de calcul. L'application a commencé à charger des modèles d'elle-même. Un modèle Qwen3.8-27B MLX 4 bits a démarré en moins d'une minute, selon les notes ; une seconde notification montrait le chargement de Mistral-7B-Instruct-v0.3-4bit (capture non reprise, même type que la figure 5).

La notification de chargement affiche le chemin /Users/hanskuepper/.lmstudio/models/lmstudio-community/Qwen3.8-27B-MLX-4bit. Le modèle a été lu depuis le dossier de LM Studio sur le disque.

Il soupçonnait qu'il venait du disque dur, car 'that's a big model that doesn't go over the internet in one minute'. Le chemin le confirme. Pourquoi Unsloth a choisi ce modèle et celui de Mistral n'est pas consigné.

La question 'what is 5 times 866' a reçu la réponse '5 x 866 = 4,330' (correcte), après 'Worked for 10s', à 11,0 tok/s. L'en-tête affiche 'Local' et un compteur de contexte '120 / 262.1k'.

Le testeur a ensuite demandé au modèle d'où il tenait le modèle. La partie capturée de la réponse parle de poids MLX et de mémoire unifiée d'Apple Silicon ; la réponse complète n'est pas capturée. Selon les notes, la réponse était que l'application ne cherche pas sur le disque.

Le récit que fait le modèle de chat de l'application n'est pas une preuve fiable. Une réponse l'appelle 'Qwen 3 27B MLX 4-bit', alors que l'application le nomme Qwen3.8-27B-MLX-4bit.

L'onglet On Device liste les modèles par source. Sous CUSTOM FOLDERS apparaissent deux chemins (.lmstudio/models et .ollama/models) avec les modèles Ollama gemma4:latest, gemma3:1b et qwen3-coder:30b. Sous LM STUDIO, le modèle Qwen3.8-27B est marqué 'Loaded'.

Soit le testeur a ajouté les deux dossiers, soit l'application les a trouvés seule. Non consigné. Un usage antérieur de l'application a pu les configurer.

Le passage à qwen3-coder:30b (30.5B, Q4_K_M, GGUF) affiche 'Starting model... Switching models. Loading cached model into memory.' avec un bouton Cancel. Le compteur de contexte indique '1.3k / 8.2k', bien moins que les 262.1k du premier modèle.

'I like how easy to change models.' 'Some Ollama models do not work inside Unsloth, but great that it tried at least.'

Selon les notes, un modèle plus ancien a fonctionné et un plus récent a planté. Les modèles concernés ne sont pas consignés.

Il juge 'great that it tried' d'utiliser ses modèles Ollama, et lire les modèles déjà présents sur le disque évite un nouveau gros téléchargement.

Le hub affiche l'appareil : '0 GiB VRAM + 24 GiB shared', '24 GiB RAM', '12/12 CPU', ainsi que des filtres (format, capacités, nouveautés). Les cartes montrent les mentions j'aime, les téléchargements, l'ancienneté et la licence (embeddinggemma-2-GGUF : apache-2.0, 1,5 GB).

'Yes, great model hub.' Le hub liste notamment Qwen-Image-2.1-GGUF (850.0K téléchargements, 16 jours), GLM-5.3-GGUF et Qwen3.8-Flash-Next-GGUF.

Selon les notes, cliquer sur un fichier trop gros pour le Mac a produit plusieurs avertissements ('this file is 30 to 40 gigabytes total') ; le téléchargement reste autorisé. Pas de capture d'écran.

Le panneau de téléchargement d'unsloth/Qwen3.8-27B-GGUF UD-Q5_K_S indique 1.2 GB sur 20 GB à 1.4 MB/s, 3 h 47 m restantes ; plus tard 7.1 GB sur 20 GB à 983 KB/s, 3 h 31 m restantes.

'The professionalism of this app is visible. It has a timer attached. It tells you the download speed.'

Les vitesses suggèrent une connexion lente sur le lieu du test ; le testeur ne le dit pas. Le téléchargement est-il allé à son terme ? Non consigné.

La boîte de dialogue de Z-Image (BF16) liste des fichiers de modèle de 12,3 GB plus un encodeur et un décodeur requis de 8,2 GB, soit 20,5 GB au total. Cela explique la 'difference between the gigabytes that the model has and then something else' que le testeur mentionne ailleurs.

Les notes disent 'the picture LLM was downloaded'. Lequel ? Non consigné ; les captures montrent sur l'appareil les modèles d'image FLUX.2-klein-4B et sa variante GGUF (figure 18).

Le testeur a collé l'URL d'une page de PromptQuorum et demandé 'from a seo perspective will this help me?'. Le chat affiche 'Using tool: Reading promptquorum.com' et 'Waiting for approval: web_search' avec les boutons Allow, Always allow et Deny. Horodatage 17 h 13 ; contexte '648 / 34.4k'.

Selon les notes, le premier essai a dit qu'il ne pouvait pas lire la page ; après un clic sur la fonction Search, cela a marché au second essai. 'Maybe the first time should have had a warning.'

Le premier échec vient peut-être de l'approbation de la recherche web manquante ou de l'interrupteur Search désactivé. Non vérifié.

L'exécution s'est terminée par 'Ran out of memory. Try a smaller model or shorter input.' après 168,10 s, avec un bouton Retry.

La saisie vocale est intégrée. Son utilisation demande de télécharger le modèle vocal 'Qwen3-ASR 0.6B', environ 1,0 GB, qui sera récupéré une seule fois dans le cache Hugging Face, indique l'application. Le testeur l'a-t-il téléchargé ? Non consigné.

Une recherche locale d'événements ('What is happening tonight in Heidelberg, Germany?') a effectué deux séries d'appels d'outils et s'est terminée par 'Ran out of memory' après 110,65 s. L'en-tête affiche une note rouge : 'Failed to load model: No safetensors found in /Users/.../.cache/huggin...'.

L'erreur de chargement et le message de mémoire saturée sont peut-être liés (un modèle remplacé alors que la mémoire manquait). La capture n'établit aucun lien.

'But yes, local AI, always some issues.'

L'objectif du testeur était les images. La barre latérale comporte une entrée 'Images'. Les notes contiennent un long prompt sur l'horizon de New York (vue de Brooklyn, pont de Brooklyn, heure dorée, détail 8K) avec des listes de composition et d'éléments à éviter. Aucun résultat, erreur ni réglage n'est consigné.

Le chargement du modèle d'image flux.2-klein a été refusé : 'needs about 17 GB of memory for its weights, but only about 2 GB is usable on this device (of the 7 GB currently free, after reserving room for the operating system)'. Le message ajoute que le Mac a un seul pool de mémoire, que le déchargement sur le CPU ne libère rien, et suggère un modèle plus petit, une quantification plus basse ou la fermeture d'autres applications. Il nomme UNSLOTH_DIFFUSION_ALLOW_OVERSIZED_LOAD=1 comme contournement.

Après un redémarrage propre, le message indique : environ 17 GB nécessaires, environ 6 GB utilisables, sur 11 GB actuellement libres.

Les deux messages diffèrent de 5 GB dans les deux paires (7 - 2 et 11 - 6) : l'application semble donc réserver environ 5 GB pour le système d'exploitation. Deux points de données seulement.

La liste de l'appareil affiche FLUX.2-klein-4B-GGUF (7,8 GB), FLUX.2-klein-4B (16 GB) et mistral-7b-v0.3-bnb-4bit (4,1 GB). Le testeur : 'This should be small enough.' Il dit que le plus petit modèle d'image du hub fait planter sa machine de 24 GB, et que les modèles sur lesquels il a cliqué disaient tous être trop gros parce que seuls 'seven gigabytes' étaient disponibles.

Le testeur se demande pourquoi seuls sept gigaoctets sont disponibles ('I have much more'). La boîte de dialogue indique que 7 GB étaient libres à ce moment-là et que les autres applications tournaient ; après le redémarrage, elle indique 11 GB. Les notes placent la remarque sur les '7 GB' à côté de la boîte de dialogue de Z-Image ; le chiffre de 7 GB figure dans le message de flux.2-klein.

'I'm lost... I have a 24-gigabyte machine and I cannot find an LLM that can serve me and can do the job.' Il pense que 24 GB représentent plus de 80 % de ce qu'ont ses lecteurs (son estimation, pas un chiffre mesuré).

'More than 80% of my readers' ont 24 GB ou moins. Source non indiquée.

Le testeur conclut que les modèles locaux et le travail quotidien se disputent la même mémoire, et que Chrome et d'autres applications prennent 5 à 8 GB. Il a écrit 'VRAM' partout ; Apple Silicon n'a qu'un seul pool de mémoire, comme le dit le hub ('0 GiB VRAM + 24 GiB shared').

Moniteur d'activité, une capture : mémoire utilisée 12,92 GB, fichiers en cache 10,95 GB, mémoire des apps 9,81 GB, mémoire résidente 1,83 GB, swap 0.

Moniteur d'activité, une autre capture : mémoire utilisée 9,67 GB, fichiers en cache 8,14 GB, mémoire des apps 6,97 GB, mémoire résidente 1,71 GB, swap 0. Le court historique correspond à un démarrage récent.

Les 11 GB 'currently free' de la figure 15 sont cohérents avec 24,00 - 12,92 = 11,08 GB de la figure 16. Que les deux aient été prises au même moment n'est pas consigné.

'Even after reboot, already nine gigabytes gone for general things.' 'Either I shut the computer down, reboot, stop all the processes... or I cannot run the LLM.'

Deux réponses possibles : les modèles doivent devenir plus petits et meilleurs, ou les ordinateurs ont besoin de 48 ou 64 GB. 'All of this talk about this works on your computer is a little bit fake.'

Qu'avec 48 ou 64 GB le problème serait résolu 'confidently' n'a pas été testé.

Le démarrage d'un modèle affiche une notification 'Starting model... Loading cached model into memory.' avec une roue de chargement et Cancel. Aucun pourcentage, aucune taille, aucune durée.

L'attente a duré plus de deux ou trois minutes (non chronométré).

'The worst way you can treat a client is to do the work and not update the client.' Le testeur y voit un problème d'interface utilisateur.

Les compteurs de l'en-tête montrent les tokens utilisés par rapport au contexte (par exemple '648 / 34.4k') et les tokens par seconde (11,0 tok/s).

Les notes disent 'no token counter'. Les captures montrent un compteur de contexte et un chiffre de tokens par seconde. Il voulait peut-être parler d'un décompte de tokens par message (hypothèse).

Les notes qualifient un modèle de chat local de 'the most stupid idea' parce qu'il 'does not research the internet'. Les mêmes notes et captures montrent une fonction Search, une demande d'approbation de recherche web et des appels d'outils lisant une page.

Il ne veut pas entraîner de modèles ; la fonction de chat lui sert peu ; il veut un outil d'image et de vidéo et 'is not seeing it yet'. L'entraînement et l'onglet 'Train' n'ont pas été essayés.

'Maybe it's on my side, but no, not for me. I'll check again in three or six months, but currently not on a M3 24 GB Pro MacBook.'