Principais conclusões
- O vllm-mlx (github.com/waybarrios/vllm-mlx) é um servidor de inferência gratuito e open source, instalado via
pip install vllm-mlx - Construído pelo desenvolvedor independente Way Barrios; não é o projeto vLLM oficial (github.com/vllm-project/vllm) e não é afiliado à equipe do vLLM
- Licenciado sob Apache 2.0, confirmado pelo arquivo LICENSE do repositório no GitHub
- Expõe endpoints compatíveis com OpenAI (
/v1/chat/completions,/v1/embeddings,/v1/rerank,/v1/responses) e com Anthropic (/v1/messages) a partir de um único processo de servidor - Recursos de serving adaptados do vLLM: continuous batching, paged KV cache, prefix caching e cache opcional em camadas no SSD para cargas de trabalho de contexto longo
- Lida com modelos de texto, visão (imagem/vídeo), áudio (TTS/STT) e embedding/reranking, tudo via MLX nativo no Apple Silicon
- Exige um Mac com Apple Silicon (M1 a M5) — não há suporte para Windows, Linux ou Mac Intel
- Mais de 1.580 estrelas no GitHub no momento desta análise
📍 Em uma frase
O vllm-mlx é um servidor de inferência Python gratuito e open source (Apache 2.0) que traz continuous batching e paged KV caching no estilo vLLM para Macs com Apple Silicon via MLX nativo, expondo endpoints de API compatíveis com OpenAI e com Anthropic.
💬 Em termos simples
O vllm-mlx permite rodar modelos de IA no seu próprio Mac e conversar com eles do mesmo jeito que você conversaria com a API em nuvem da OpenAI ou da Anthropic — basta apontar seu código existente para localhost em vez da nuvem. Ele foi criado para lidar com várias requisições ao mesmo tempo de forma eficiente, que é a parte "estilo vLLM" do nome, mas é um projeto separado e não oficial, não o próprio vLLM rodando em um Mac.
📌Nota: Esta análise é baseada no repositório GitHub do vllm-mlx, seu README, seu site de documentação e sua página no PyPI. Ela não trata os benchmarks de throughput publicados pelo próprio vllm-mlx como fatos verificados de forma independente — esses números vêm do README do projeto e devem ser tratados como relatados pelo próprio desenvolvedor, não testados pela PromptQuorum. Esta análise é o complemento aprofundado da entrada do vllm-mlx no Local LLM Software Directory.
O que é o vllm-mlx?
O vllm-mlx é um servidor de inferência de linha de comando para Macs com Apple Silicon que expõe modelos de IA rodando localmente por meio dos mesmos formatos de API usados pelos serviços em nuvem da OpenAI e da Anthropic. O próprio README no GitHub o descreve como algo que reúne "continuous batching + APIs OpenAI + Anthropic em um único servidor" com "inferência nativa em Apple Silicon". Não é um aplicativo gráfico de desktop — é um pacote Python executado pelo terminal, que passa a escutar requisições de API em uma porta local.
- Tipo de produto: um servidor de inferência CLI baseado em Python, instalado como pacote pip/uv, não um app gráfico para baixar
- Criador: o desenvolvedor independente Way Barrios (usuário
waybarriosno GitHub); esta análise não encontrou evidência de uma empresa, rodada de investimento ou entidade comercial por trás do projeto - Repositório: github.com/waybarrios/vllm-mlx, o mais antigo e com mais estrelas entre vários repositórios homônimos no GitHub — outros repositórios com o mesmo nome (por exemplo, sob usuários diferentes) descrevem este como o projeto que eles espelham
- Licença: Apache 2.0, confirmada pelo arquivo LICENSE do repositório
- Nome: "vllm-mlx" sinaliza que o projeto segue o design de API de serving e a terminologia do vLLM (continuous batching, paged KV cache) mas roda sobre o MLX em vez do próprio motor do vLLM baseado em CUDA/ROCm — ele não contém o código-fonte original do vLLM
Histórico do projeto
O vllm-mlx é um projeto relativamente jovem. Sua página de pacote no PyPI e seu repositório no GitHub mostram desenvolvimento ativo e contínuo, em vez de um longo histórico de versões ao longo de vários anos, e seu README já documenta um conjunto amplo de recursos — compatibilidade com as APIs da OpenAI e da Anthropic, continuous batching, suporte multimodal e chamadas de ferramentas via MCP — como estado atual, e não como um lançamento em etapas.
- Distribuído no PyPI como o pacote
vllm-mlx, com tags de versão publicadas visíveis viapip index versions vllm-mlxou pela página do projeto no PyPI - Mantido ativamente: o repositório no GitHub mostra commits contínuos e um site de documentação em vllm-mlx.is-a.dev
- O README é traduzido para vários idiomas (inglês, espanhol, francês, chinês) pelo próprio projeto, algo incomum para um projeto deste porte e um indício de uma base de usuários distribuída internacionalmente
- O conjunto de recursos já inclui, no momento desta análise, suporte a modelos de raciocínio (extração de raciocínio no estilo Qwen3, DeepSeek-R1), decodificação especulativa e otimizações de Mixture-of-Experts
O que dá para fazer com o vllm-mlx?
O conjunto de recursos do vllm-mlx é centrado em servir com eficiência várias requisições simultâneas em um único Mac, cobrindo mais do que a simples geração de texto. Veja o que cada parte realmente faz, segundo o próprio README e o site de documentação do projeto.
- Compatibilidade dupla de API — serve endpoints tanto no estilo OpenAI (
/v1/chat/completions,/v1/completions,/v1/embeddings,/v1/rerank,/v1/responses) quanto no estilo Anthropic (/v1/messages, com streaming, uso de ferramentas e prompts de sistema) a partir de um único servidor em execução - Continuous batching — processa várias requisições simultâneas em conjunto em vez de uma por vez, a mesma técnica que o vLLM popularizou para serving em GPU, adaptada aqui para MLX/Metal
- Cache KV paginado e por prefixo — um cache eficiente em memória baseado em trie que compartilha prefixos de prompt repetidos entre requisições, com uma flag opcional
--ssd-cache-dirpara transbordar o cache para o disco em cargas de trabalho de agentes com contexto longo - Suporte multimodal — entrada de texto, imagem, vídeo e áudio a partir de um único servidor; as famílias de modelos de visão compatíveis documentadas incluem Gemma, Qwen3-VL, Pixtral e variantes de visão do Llama
- Áudio integrado — conversão de texto em voz (várias vozes e idiomas segundo seu README) e de voz em texto via modelos da família Whisper, executados no mesmo processo do servidor
- Chamadas de ferramentas via MCP — suporte ao Model Context Protocol com parsers para várias famílias de modelos (o README lista, entre outros, formatos de chamada de ferramentas nos estilos OpenAI, Anthropic, Gemini, Qwen, DeepSeek e Gemma), além de compatibilidade explícita com o Claude Code via o endpoint compatível com Anthropic
- Recursos de raciocínio e MoE — extração de tokens de raciocínio para modelos como Qwen3 e DeepSeek-R1, além de opções de roteamento Mixture-of-Experts e decodificação especulativa para as famílias de modelos compatíveis
- Observabilidade e benchmarking — um endpoint Prometheus
/metricsopcional e um comando integradovllm-mlx bench-servepara executar e registrar medições de throughput
Exemplos de uso: três formas de usar o vllm-mlx
Estes são fluxos de trabalho concretos construídos a partir dos recursos documentados do vllm-mlx acima, usando comandos do próprio README do projeto.
Instalar o vllm-mlx
O vllm-mlx se instala gratuitamente via pip ou uv, e seu código-fonte está no GitHub. Por ser uma ferramenta CLI para desenvolvedores, não existe um instalador para download por sistema operacional — a instalação sempre passa pelo gerenciador de pacotes do Python.
Fonte | Link |
|---|---|
| Documentação oficial | vllm-mlx.is-a.dev |
| Repositório GitHub (código-fonte, Apache 2.0) | github.com/waybarrios/vllm-mlx |
| Pacote PyPI | pypi.org/project/vllm-mlx |
| Instalação rápida (uv) | uv tool install vllm-mlx |
| Instalação rápida (pip) | pip install vllm-mlx |
O vllm-mlx exige um Mac com Apple Silicon (M1, M2, M3, M4 ou M5) rodando macOS com o framework MLX — não funciona em Mac Intel, Windows ou Linux. Os recursos de áudio exigem um passo adicional, `pip install vllm-mlx[audio], além de brew install espeak-ng` para conversão de texto em voz em idiomas diferentes do inglês, segundo o README do projeto.
Preços do vllm-mlx: o vllm-mlx é realmente gratuito?
Sim — o vllm-mlx não tem nenhum plano pago. Ele é distribuído como um pacote PyPI gratuito, licenciado sob Apache 2.0, sem conta, chave de licença ou limite de uso. O repositório no GitHub não tem página de preços, e nenhuma parte do README ou da documentação descreve uma edição comercial ou corporativa.
- Não há custo para instalar ou rodar o próprio vllm-mlx —
pip install vllm-mlxé toda a transação - A licença Apache 2.0 permite uso comercial, modificação e redistribuição, sujeita aos termos padrão da licença (atribuição e preservação do aviso de licença)
- O único custo real é o hardware Mac com Apple Silicon necessário para rodá-lo, e o espaço em disco para os modelos baixados separadamente do Hugging Face ou da organização
mlx-community - Não foi encontrada, nesta análise, nenhuma versão em nuvem hospedada pelo desenvolvedor, API hospedada ou oferta gerenciada — o vllm-mlx roda apenas em hardware sob seu próprio controle
vllm-mlx vs. mlx-lm
O vllm-mlx e o mlx-lm executam modelos via o framework MLX da Apple, mas resolvem problemas diferentes. O mlx-lm é a própria biblioteca Python e CLI de nível mais baixo da Apple para rodar e ajustar (fine-tune) modelos MLX uma requisição por vez; o vllm-mlx é um servidor de nível mais alto, construído sobre bibliotecas como mlx-lm, mlx-vlm e mlx-audio (segundo seu próprio diagrama de arquitetura), que adiciona os recursos de serving concorrente pelos quais o vLLM é conhecido.
Mantenedor
- vllm-mlx:
- Desenvolvedor independente (Way Barrios)
- mlx-lm:
- Equipe de MLX da Apple
Caso de uso principal
- vllm-mlx:
- Servidor de API para requisições concorrentes
- mlx-lm:
- Biblioteca de geração e fine-tuning de requisição única
Batching concorrente
- vllm-mlx:
- Continuous batching, paged KV cache
- mlx-lm:
- Não é um foco central; tipicamente uma requisição por vez
Superfície de API
- vllm-mlx:
- Endpoints compatíveis com OpenAI + Anthropic
- mlx-lm:
- API e CLI Python, sem servidor integrado no formato Anthropic
Relação
- vllm-mlx:
- Constrói internamente sobre mlx-lm, mlx-vlm, mlx-audio
- mlx-lm:
- Uma dependência fundamental sobre a qual outras ferramentas MLX se apoiam
Esta é uma comparação factual de recursos baseada na documentação de cada projeto, não um benchmark conduzido pela PromptQuorum. Os dois não são concorrentes estritos — o vllm-mlx depende do mlx-lm em vez de substituí-lo.
Quem deveria usar o vllm-mlx?
O vllm-mlx é indicado para desenvolvedores em Apple Silicon que querem serving concorrente no estilo produção, e não um app de chat para um único usuário.
Erros comuns ao avaliar o vllm-mlx
A maior parte da confusão em torno do vllm-mlx vem do nome, que convida a suposições que o próprio projeto não faz.
Concorrentes e alternativas
O vllm-mlx está no mesmo segmento de servidores de inferência para Apple Silicon que o oMLX, o Rapid-MLX e o mlxcel — todos projetos independentes que rodam modelos locais via MLX com uma superfície de API compatível com OpenAI ou similar, diferindo principalmente na linguagem (Python vs. Rust), no foco de recursos e na estratégia de cache.
Ferramenta | Mais conhecido por | Link |
|---|---|---|
| oMLX | Servidor de inferência para Apple Silicon com cache de prompts apoiado em SSD | Análise do oMLX |
| Rapid-MLX | Servidor de inferência MLX nativo focado em velocidade de serving | Análise do Rapid-MLX |
| mlxcel | Runtime MLX nativo em Rust para LLMs, VLMs, embeddings e áudio | Análise do mlxcel |
| LoRAX | Servir milhares de adaptadores LoRA a partir de um modelo base em uma única GPU | Análise do LoRAX |
Esta lista reflete ferramentas comumente comparadas no espaço de motores de inferência para Apple Silicon e serving de adaptadores, não um ranking independente da PromptQuorum — verifique o conjunto de recursos atual de cada ferramenta antes de escolher.
Perguntas frequentes
O que é o vllm-mlx?
O vllm-mlx (github.com/waybarrios/vllm-mlx) é um servidor de inferência gratuito e open source (Apache 2.0) que executa modelos de IA em Macs com Apple Silicon via MLX nativo, expondo endpoints de API compatíveis com OpenAI e com Anthropic.
O vllm-mlx é a mesma coisa que o vLLM?
Não. O vllm-mlx é um projeto independente e não oficial que adapta os conceitos de serving do vLLM (continuous batching, paged KV cache) para o framework MLX da Apple. Não é afiliado ao projeto ou à equipe oficial do vLLM, e não contém o código-fonte original do vLLM.
O vllm-mlx é gratuito?
Sim. Ele se instala gratuitamente via pip install vllm-mlx, é licenciado sob Apache 2.0, e não tem plano pago, conta ou limite de uso.
Como instalo o vllm-mlx?
Execute pip install vllm-mlx ou uv tool install vllm-mlx, segundo o próprio README do projeto. É necessário um Mac com Apple Silicon; não há suporte para Windows, Linux ou Mac Intel.
O vllm-mlx funciona com o Claude Code?
Sim. O projeto documenta suporte explícito ao Claude Code configurando ANTHROPIC_BASE_URL para apontar para o endpoint do vllm-mlx servido localmente, já que ele expõe um endpoint compatível com Anthropic, /v1/messages.
Que hardware o vllm-mlx exige?
Um Mac com Apple Silicon (M1, M2, M3, M4 ou M5). Ele usa kernels Metal via MLX e não tem caminho alternativo só com CPU nem suporte a GPUs que não sejam da Apple.
Quem criou o vllm-mlx?
O desenvolvedor independente Way Barrios, usuário waybarrios no GitHub. Esta análise não encontrou evidência de uma empresa ou rodada de investimento por trás do projeto.
O vllm-mlx suporta modelos de visão e áudio, ou só texto?
Ele suporta modelos de texto, visão (imagem/vídeo) e áudio (conversão de texto em voz e de voz em texto), além de embeddings e reranking, tudo servido a partir do mesmo processo, segundo o README do projeto.
O que é continuous batching?
Uma técnica de serving, popularizada pelo vLLM, que processa várias requisições simultâneas em conjunto em vez de uma por vez, melhorando o throughput quando um servidor lida com várias requisições ao mesmo tempo. O vllm-mlx adapta esse conceito para o MLX no Apple Silicon.
A PromptQuorum testou de forma independente as alegações de benchmark do vllm-mlx?
Não. Esta análise é baseada no próprio repositório GitHub, README e site de documentação do vllm-mlx, e não em testes práticos realizados pela PromptQuorum. Os números de throughput no README do projeto são autorrelatados.