Unsloth em um Mac de 24 GB: app polido, sem memória antes da primeira imagem

O instalador é um DMG de 24 MB, descrito pelo testador como 'the smallest file I've ever seen'.

Primeira janela: 'Getting things ready... This won't take long.' com um link 'Show setup details'. O testador: 'Already feels much more polished than the other apps... a clear communication.'

O log detalhado diz: 'Updating existing Unsloth install', 'frontend bundled (Tauri)', 'node v24.13.0 | npm 11.6.2 (system)', 'unsloth 2026.8.18 -> 2026.10.3 available, updating', e depois uma barra de dependências de 13 etapas (pip bootstrap, pilha MLX para Apple Silicon, pacotes base, extras do unsloth, codecs, overrides, dependências do studio, data designer, plugin local, pin do diffusers, finalização). Anotações: 'torch 2.10.0 detected -- installing torchao==0.16.0'; 'transformers 5.3.0, 5.5.0, 5.10.2 pre-installed'; 'gpu Apple Silicon (Metal, unified memory)'; 'installing prebuilt llama.cpp'.

O testador diz que rodou por cerca de quatro ou cinco minutos, e então o app abriu. O log não mostra estimativa de tempo nem de espaço em disco.

Quatro a cinco minutos para a instalação. Não cronometrado.

O DMG pequeno provavelmente baixa a maior parte do software nesta primeira etapa. Não verificado.

'It gives me the details about what it does -- great -- but it doesn't tell me anything about estimated time, volumes, how much disk space it takes up.'

A janela principal abre com 'How can I help?' e uma barra lateral: New chat, Model hub, Library, Images, Train, More. O logotipo traz o rótulo BETA.

Partiu de uma instalação existente ('same as before'), então isto é uma atualização, não um teste de primeira execução. As conclusões sobre a integração inicial precisam de uma instalação limpa para serem confirmadas.

O seletor de modelos lista Recommended models com números como 27.3B e 271.0M. São contagens de parâmetros, não gigabytes. Duas entradas estão acinzentadas (176.9B e 320.8B).

As entradas acinzentadas provavelmente são grandes demais para esta máquina. A visão do app capturada não diz isso.

'There were lots of models listed with the size. Very good.' Os números exibidos são contagens de parâmetros, então isso não diz ao leitor quanta memória um modelo precisa.

Em vez de escolher um modelo, o testador digitou um pedido de cálculo. O app começou a carregar modelos por conta própria. Um modelo Qwen3.8-27B MLX de 4 bits iniciou em menos de um minuto, segundo as anotações; um segundo aviso mostrou o Mistral-7B-Instruct-v0.3-4bit carregando (captura de tela omitida, do mesmo tipo da Figura 5).

O aviso de carregamento mostra o caminho /Users/hanskuepper/.lmstudio/models/lmstudio-community/Qwen3.8-27B-MLX-4bit. O modelo foi lido da pasta do LM Studio no disco.

Ele suspeitou que viesse do disco rígido, porque 'that's a big model that doesn't go over the internet in one minute'. O caminho confirma isso. Por que o Unsloth escolheu esse modelo e o Mistral não foi registrado.

A pergunta 'what is 5 times 866' foi respondida com '5 x 866 = 4,330' (correto), após 'Worked for 10s', a 11.0 tok/s. O cabeçalho mostra 'Local' e um medidor de contexto '120 / 262.1k'.

Em seguida, o testador perguntou ao modelo de onde ele tirou o modelo. A parte capturada da resposta fala de pesos MLX e da memória unificada do Apple Silicon; a resposta completa não foi capturada. As anotações dizem que a resposta foi que o app não procura no disco.

O relato do próprio modelo de chat sobre o app não é uma evidência confiável. Uma resposta chama o modelo de 'Qwen 3 27B MLX 4-bit', enquanto o app o nomeia Qwen3.8-27B-MLX-4bit.

A aba On Device lista os modelos por origem. Em CUSTOM FOLDERS aparecem dois caminhos (.lmstudio/models e .ollama/models) com os modelos do Ollama gemma4:latest, gemma3:1b e qwen3-coder:30b. Em LM STUDIO, o modelo Qwen3.8-27B está marcado como 'Loaded'.

Ou o testador adicionou as duas pastas, ou o app as encontrou sozinho. Não registrado. O uso anterior do app pode tê-las configurado.

Ao trocar para o qwen3-coder:30b (30.5B, Q4_K_M, GGUF), aparece 'Starting model... Switching models. Loading cached model into memory.' com um botão Cancel. O medidor de contexto marca '1.3k / 8.2k', bem menor que os 262.1k do primeiro modelo.

'I like how easy to change models.' 'Some Ollama models do not work inside Unsloth, but great that it tried at least.'

Segundo as anotações, um modelo mais antigo funcionou e um mais novo travou. Quais modelos foram esses não foi registrado.

Ele diz que é 'great that it tried' usar seus modelos do Ollama, e que ler modelos já presentes no disco evita mais um download grande.

O hub mostra o dispositivo: '0 GiB VRAM + 24 GiB shared', '24 GiB RAM', '12/12 CPU', além de filtros (formato, capacidades, mais recentes). Os cartões mostram curtidas, downloads, idade e licença (embeddinggemma-2-GGUF: apache-2.0, 1.5 GB).

'Yes, great model hub.' O hub lista, entre outros, Qwen-Image-2.1-GGUF (850.0K downloads, 16 dias), GLM-5.3-GGUF e Qwen3.8-Flash-Next-GGUF.

Segundo as anotações, ao clicar em um arquivo grande demais para o Mac, apareceram vários avisos ('this file is 30 to 40 gigabytes total'); o download continua permitido. Sem captura de tela.

O painel de download do unsloth/Qwen3.8-27B-GGUF UD-Q5_K_S mostra 1.2 GB de 20 GB a 1.4 MB/s, 3 h 47 m restantes; mais tarde, 7.1 GB de 20 GB a 983 KB/s, 3 h 31 m restantes.

'The professionalism of this app is visible. It has a timer attached. It tells you the download speed.'

As velocidades sugerem uma conexão lenta no local do teste; o testador não diz isso. Não foi registrado se o download terminou.

A janela do Z-Image (BF16) lista arquivos do modelo de 12.3 GB mais codificador e decodificador necessários de 8.2 GB, total de 20.5 GB. Isso explica a 'difference between the gigabytes that the model has and then something else', que o testador menciona em outro ponto.

As anotações dizem 'the picture LLM was downloaded'. Qual deles não foi registrado; as capturas mostram os modelos de imagem FLUX.2-klein-4B e sua variante GGUF no dispositivo (Figura 18).

O testador colou a URL de uma página do PromptQuorum e perguntou 'from a seo perspective will this help me?'. O chat mostra 'Using tool: Reading promptquorum.com' e 'Waiting for approval: web_search' com os botões Allow, Always allow e Deny. Horário 17h13; contexto '648 / 34.4k'.

Segundo as anotações, a primeira tentativa disse que não conseguia ler a página; depois de clicar na função Search, funcionou na segunda vez. 'Maybe the first time should have had a warning.'

A primeira falha pode ter vindo da falta de aprovação da busca na web ou do botão Search desligado. Não verificado.

A execução terminou com 'Ran out of memory. Try a smaller model or shorter input.' após 168.10 s, com um botão Retry.

A entrada por voz é integrada. Ao usá-la, o app pede para baixar o modelo de fala 'Qwen3-ASR 0.6B', cerca de 1.0 GB, que ele diz ser baixado uma vez para o cache do Hugging Face. Não foi registrado se o testador o baixou.

Uma busca local de eventos ('What is happening tonight in Heidelberg, Germany?') fez duas rodadas de chamadas de ferramentas e terminou com 'Ran out of memory' após 110.65 s. O cabeçalho mostra um aviso em vermelho: 'Failed to load model: No safetensors found in /Users/.../.cache/huggin...'.

O erro de carregamento e a mensagem de falta de memória podem estar ligados (um modelo sendo trocado enquanto a memória acabava). A captura de tela não mostra essa ligação.

'But yes, local AI, always some issues.'

O objetivo do testador eram imagens. A barra lateral tem um item 'Images'. As anotações mostram um longo prompt do skyline de Nova York (vista do Brooklyn, Ponte do Brooklyn, golden hour, detalhe em 8K) com listas de composição e de itens a evitar. Nenhum resultado, erro ou configuração foi registrado para ele.

O carregamento do modelo de imagem flux.2-klein foi recusado: 'needs about 17 GB of memory for its weights, but only about 2 GB is usable on this device (of the 7 GB currently free, after reserving room for the operating system)'. A mensagem acrescenta que o Mac tem um único conjunto de memória, que descarregar para a CPU não libera nada, e sugere um modelo menor, uma quantização menor ou fechar outros apps. Ela cita UNSLOTH_DIFFUSION_ALLOW_OVERSIZED_LOAD=1 como forma de contornar.

Depois de uma reinicialização limpa, a mensagem diz: cerca de 17 GB necessários, cerca de 6 GB utilizáveis, de 11 GB atualmente livres.

As duas mensagens diferem em 5 GB nos dois pares (7 - 2 e 11 - 6), então o app parece reservar cerca de 5 GB para o sistema operacional. Apenas dois pontos de dados.

A lista de dispositivos mostra FLUX.2-klein-4B-GGUF (7.8 GB), FLUX.2-klein-4B (16 GB) e mistral-7b-v0.3-bnb-4bit (4.1 GB). O testador: 'This should be small enough.' O testador diz que o menor modelo de imagem do hub trava sua máquina de 24 GB, e que todos os modelos em que clicou diziam ser grandes demais porque só 'seven gigabytes' estavam disponíveis.

O testador estranha que só sete gigabytes estejam disponíveis ('I have much more'). A janela informa que 7 GB estavam livres naquele momento e que os outros apps estavam abertos; depois da reinicialização, informa 11 GB. As anotações colocam o comentário dos '7 GB' junto à janela do Z-Image; o valor de 7 GB está na mensagem do flux.2-klein.

'I'm lost... I have a 24-gigabyte machine and I cannot find an LLM that can serve me and can do the job.' Ele acha que 24 GB é mais do que mais de 80 por cento dos seus leitores têm (estimativa dele, não um valor medido).

'More than 80% of my readers' têm 24 GB ou menos. Fonte não informada.

O testador conclui que os modelos locais e o trabalho do dia a dia disputam a mesma memória, e que o Chrome e outros apps ocupam de 5 a 8 GB. Ele escreveu 'VRAM' o tempo todo; o Apple Silicon tem um único conjunto de memória, como diz o hub ('0 GiB VRAM + 24 GiB shared').

Monitor de Atividade, uma captura: memória usada 12,92 GB, arquivos em cache 10,95 GB, memória de apps 9,81 GB, residente 1,83 GB, swap 0.

Monitor de Atividade, outra captura: memória usada 9,67 GB, arquivos em cache 8,14 GB, memória de apps 6,97 GB, residente 1,71 GB, swap 0. O gráfico de histórico curto combina com uma inicialização recente.

Os 11 GB 'atualmente livres' na Figura 15 são coerentes com 24,00 - 12,92 = 11,08 GB da Figura 16. Não foi registrado se as duas foram feitas ao mesmo tempo.

'Even after reboot, already nine gigabytes gone for general things.' 'Either I shut the computer down, reboot, stop all the processes... or I cannot run the LLM.'

Duas respostas possíveis: os modelos precisam ficar menores e melhores, ou os computadores precisam de 48 ou 64 GB. 'All of this talk about this works on your computer is a little bit fake.'

Que 48 ou 64 GB resolveriam isso 'com segurança' não foi testado.

Iniciar um modelo mostra um aviso 'Starting model... Loading cached model into memory.' com um indicador giratório e Cancel. Sem porcentagem, tamanho nem tempo.

A espera foi maior que dois ou três minutos (não cronometrada).

'The worst way you can treat a client is to do the work and not update the client.' O testador chama isso de problema de interface do usuário.

Os medidores do cabeçalho mostram os tokens usados em relação ao contexto (por exemplo '648 / 34.4k') e os tokens por segundo (11.0 tok/s).

As anotações dizem 'no token counter'. As capturas mostram um medidor de contexto e um valor de tokens por segundo. Talvez ele se referisse a uma contagem de tokens por mensagem (suposição).

As anotações chamam um modelo de chat local de 'the most stupid idea' porque ele 'does not research the internet'. As mesmas anotações e capturas mostram uma função Search, um pedido de aprovação de busca na web e chamadas de ferramentas lendo uma página.

Ele não quer treinar modelos; a função de chat tem pouca utilidade para ele; ele quer uma ferramenta de imagem e vídeo e 'is not seeing it yet'. O treinamento e a aba 'Train' não foram testados.

'Maybe it's on my side, but no, not for me. I'll check again in three or six months, but currently not on a M3 24 GB Pro MacBook.'