Principais conclusões
- Qwen3 8B e 14B são alvos para GPUs de consumo — 8 GB e 16 GB de VRAM respectivamente, rodando via Ollama no Docker
- Qwen3 32B precisa de uma RTX 4090 de 24 GB; é a maior implantação em produção com uma única placa para a maioria dos times
- Qwen2.5-72B requer duas RTX 4090, um build de CPU com muita RAM (128+ GB DDR5) ou aluguel na nuvem — o self-hosting custa ~US$ 0,05–0,12/dia amortizado
- Um stack Docker Compose com Ollama + Open WebUI + Nginx expõe uma API compatível com OpenAI em menos de 10 minutos
- Servidores Qwen sempre ativos: Minisforum UM890 Pro (US$ 429, Qwen3 8B em CPU) ou AOOSTAR GEM12 Pro OCuLink + RTX 4060 Ti 16 GB (~US$ 800 no total)
- Alternativa na nuvem: RunPod A40 48 GB a US$ 0,44/h gerencia o Qwen2.5-72B — mais barato do que comprar duas RTX 4090 para uso ocasional
- Este guia cobre a implantação em produção; para a configuração básica com Ollama consulte o guia para iniciantes do Qwen
📍 Em uma frase
Implante modelos Qwen em produção usando um stack Docker Compose que roda o Ollama como backend de inferência e expõe um endpoint de API compatível com OpenAI.
💬 Em termos simples
Em vez de executar o Qwen manualmente a cada vez, o Docker permite que você configure um servidor permanente que fica ativo e aceita requisições — igual a usar a API do ChatGPT, mas no seu próprio hardware e sem custo por token.
Desempenho dos modelos Qwen por hardware — Maio de 2026
Escolha o hardware pelo tamanho do modelo, não pela marca da GPU. A VRAM é a restrição principal: se o modelo não couber, ele não rodará na velocidade da GPU. A tabela abaixo mostra velocidades de inferência medidas com quantização Q4_K_M (a melhor relação qualidade-tamanho para implantações com Ollama).
| Modelo | VRAM (Q4_K_M) | GPU mínima | Velocidade (tok/s) | Fallback de CPU | Pronto para produção? |
|---|---|---|---|---|---|
| Qwen3 8B | 5,2 GB | RTX 3060 12 GB | 22–28 tok/s | Sim (32 GB RAM, ~4 tok/s) | Sim — GPU única |
| Qwen3 14B | 9,4 GB | RTX 4060 Ti 16 GB | 15–20 tok/s | Sim (64 GB RAM, ~2,5 tok/s) | Sim — GPU única |
| Qwen3 32B | 20,1 GB | RTX 4090 24 GB | 10–14 tok/s | Marginal (128 GB RAM, ~1,2 tok/s) | Sim — GPU única |
| Qwen3-Coder 32B | 19,8 GB | RTX 4090 24 GB | 10–13 tok/s | Marginal (128 GB RAM) | Sim — GPU única |
| Qwen2.5-72B | 43,5 GB | Duas RTX 4090 (48 GB no total) | 5–8 tok/s | Lento (128 GB RAM, ~0,6 tok/s) | Apenas multi-GPU ou nuvem |
Velocidades medidas em sistemas PCIe Gen 4. O NVLink melhora a vazão em configurações dual-GPU em ~15% nas placas compatíveis. Qwen2.5-72B com Q4_K_M em um A100 80 GB único na RunPod: 18–22 tok/s.
Configuração do servidor API com Docker — Ollama + Open WebUI + Nginx
O stack Qwen de produção mais rápido consiste em três contêineres: Ollama (inferência), Open WebUI (UI) e Nginx (reverse proxy + autenticação). Essa configuração leva menos de 10 minutos e expõe uma API permanente compatível com OpenAI em http://seu-servidor:11434/v1.
- 1Instale o Docker e o Docker Compose
Why it matters: Os contêineres mantêm o Qwen isolado do seu sistema operacional — sem conflitos de ambientes Python, atualizações simples. - 2Crie o docker-compose.yml com os serviços Ollama + Open WebUI
Why it matters: O arquivo compose gerencia o passthrough de GPU, o mapeamento de portas e as políticas de reinício em um único lugar. - 3Defina OLLAMA_HOST=0.0.0.0 no ambiente do contêiner do Ollama
Why it matters: Sem isso, o Ollama escuta apenas no localhost e não aceitará requisições de API de outros contêineres ou hosts. - 4Baixe o seu modelo Qwen: docker exec ollama ollama pull qwen3:8b
Why it matters: Os modelos são armazenados em um volume Docker para que persistam entre reinícios do contêiner. - 5Adicione o Nginx como API gateway com autenticação básica para implantações públicas
Why it matters: Expor o Ollama diretamente à internet sem autenticação permite que qualquer pessoa execute inferência na sua GPU. - 6Defina a política de reinício do contêiner como unless-stopped
Why it matters: Isso garante que o seu servidor Qwen sobreviva aos reinícios do sistema — fundamental para implantações em mini PC sempre ativos.
version: "3.8"
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: unless-stopped
ports:
- "11434:11434"
environment:
- OLLAMA_HOST=0.0.0.0
- OLLAMA_KEEP_ALIVE=-1
volumes:
- ollama_data:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: unless-stopped
ports:
- "3000:8080"
environment:
- OLLAMA_BASE_URL=http://ollama:11434
volumes:
- open_webui_data:/app/backend/data
depends_on:
- ollama
volumes:
ollama_data:
open_webui_data:Configuração multi-GPU para o Qwen2.5-72B
O Qwen2.5-72B com Q4_K_M requer 43,5 GB de VRAM — uma RTX 4090 (24 GB) não é suficiente. Você precisa de duas RTX 4090 (48 GB combinados) ou de uma placa profissional (A100 80 GB, H100 80 GB). O Ollama gerencia a divisão multi-GPU de forma nativa; nenhuma alteração de código é necessária.
- O Ollama divide o modelo automaticamente entre todas as GPUs disponíveis — defina CUDA_VISIBLE_DEVICES=0,1 no ambiente do compose para mirar placas específicas
- Para duas RTX 4090, ambas devem estar no mesmo nível de largura de banda PCIe — uma placa B650 ou Z790 com dois slots PCIe Gen 4 x8 é o mínimo
- O NVLink entre duas RTX 4090 não tem suporte oficial da NVIDIA em placas de consumo, mas funciona em pares de RTX 4090 Founders Edition por meio de bridges NVLink de terceiros — adiciona ~15% de vazão
- O vLLM é um motor de inferência alternativo que usa paralelismo tensorial para uma utilização multi-GPU mais eficiente — use o vLLM em vez do Ollama para cargas sustentadas de inferência 70B acima de 100 requisições simultâneas
- Para uso ocasional do Qwen2.5-72B, a RunPod A40 48 GB a US$ 0,44/h é mais barata do que um build com duas RTX 4090 (US$ 3.800+)
# vLLM multi-GPU alternative (better for high-traffic 72B)
docker run --gpus all \
-p 8000:8000 \
-e VLLM_WORKER_MULTIPROC_METHOD=spawn \
vllm/vllm-openai:latest \
--model Qwen/Qwen2.5-72B-Instruct \
--tensor-parallel-size 2 \
--max-model-len 32768 \
--quantization awqConfiguração da API em produção
A API do Ollama é compatível com OpenAI em /v1 — qualquer aplicação que chame a API do ChatGPT funciona com a sua implantação local do Qwen ao mudar apenas uma URL base. Variáveis de ambiente importantes que afetam o comportamento em produção:
- OLLAMA_KEEP_ALIVE=-1 — evita que o modelo seja descarregado após inatividade (o padrão é 5 minutos, fatal para implantações de servidor)
- OLLAMA_NUM_PARALLEL=4 — permite até 4 requisições de inferência simultâneas; aumente esse valor se tiver margem de VRAM disponível
- OLLAMA_MAX_LOADED_MODELS=1 — mantenha apenas um modelo na VRAM por vez em builds de GPU pequenas para evitar thrashing
- OLLAMA_FLASH_ATTENTION=1 — habilita o flash attention para uma melhoria de velocidade de 20–30% em GPUs NVIDIA Ampere/Ada (RTX 3060 e mais novas)
- OLLAMA_GPU_OVERHEAD=512 — reserva 512 MB de VRAM para a sobrecarga do SO e dos drivers; reduz as falhas por OOM em placas com exatamente 8 ou 16 GB
⚠️Warning: OLLAMA_KEEP_ALIVE=0 ou não defini-lo faz com que o modelo seja descarregado após cada requisição. A sua primeira requisição depois de uma pausa leva 10–30 segundos para recarregar o modelo. Defina sempre OLLAMA_KEEP_ALIVE=-1 para implantações de servidor API.
Comparação de custos: self-hosted vs Alibaba Cloud vs RunPod
O self-hosting supera a nuvem para cargas de inferência sustentadas acima de 4 horas por dia. Abaixo de 4 horas diárias, o aluguel de GPU na nuvem é mais barato após a amortização do hardware. A tabela usa uma amortização de hardware em 3 anos para os builds self-hosted.
| Opção | Custo Qwen3 8B/dia | Custo Qwen2.5-72B/dia | Custo inicial | Melhor para |
|---|---|---|---|---|
| Self-hosted: mini PC RTX 3060 12 GB | US$ 0,03 (só eletricidade) | N/A (não cabe) | US$ 600–900 build completo | Inferência 7B sempre ativa, servidor doméstico/escritório |
| Self-hosted: workstation RTX 4090 | US$ 0,05 | N/A (GPU única) | US$ 2.500–4.000 build completo | Inferência até 32B, uso completo de workstation |
| Self-hosted: duas RTX 4090 | US$ 0,08 | US$ 0,12 | US$ 5.000–7.000 build completo | 72B sempre ativo com outro uso de workstation |
| RunPod A40 48 GB (US$ 0,44/h) | US$ 0,44 (1 h) | US$ 0,44 (1 h) | US$ 0 inicial, pagamento por hora | Uso pontual de 72B, testes, sem investimento em hardware |
| Alibaba Cloud PAI (GPU A10) | US$ 0,50–0,80/h | US$ 1,20–2,00/h (A100) | US$ 0 inicial + US$ 50 de crédito para novas contas | Inferência otimizada para Qwen, ecossistema Alibaba Cloud |
| Vast.ai RTX 4090 spot (US$ 0,20–0,35/h) | US$ 0,20–0,35/h | N/A | US$ 0 inicial | Uso pontual econômico, risco de quedas aceitável |
Recomendações de hardware para servidor Qwen sempre ativo
Um mini PC rodando o Qwen3 8B como servidor API 24/7 custa US$ 0,50–1,50/mês em eletricidade — muito mais barato do que qualquer alternativa na nuvem. Dois builds de mini PC cobrem a maioria dos casos de uso do Qwen sempre ativo:
- Econômico (inferência em CPU com Qwen3 8B): Minisforum UM890 Pro — AMD Ryzen 9 8945HS, 32 GB DDR5, 512 GB NVMe. ~US$ 429 novo. O Qwen3 8B roda pelo backend de CPU do Ollama a 3–5 tok/s. Adequado para assistentes pessoais e resumo de documentos. 12W em repouso, 45W em carga. Muito silencioso. Enviado de armazéns nos EUA/UE.
- Recomendado (GPU Qwen3 14B): AOOSTAR GEM12 Pro OCuLink — suporta GPU externa pela porta OCuLink. Combine com uma RTX 4060 Ti 16 GB em enclosure eGPU (~US$ 340 GPU + US$ 100 enclosure). Total ~US$ 800. Roda o Qwen3 14B a 16–18 tok/s. Significativamente melhor do que o fallback de CPU para uso interativo.
- Usuário avançado (Qwen3 32B): desktop compacto ATX com RTX 4090 — exemplos: gabinete Fractal Node 804 (US$ 90), RTX 4090 (~US$ 1.900 preço atual), Ryzen 9 7950X (~US$ 600), 64 GB DDR5 (~US$ 180). Total ~US$ 2.800. Roda o Qwen3 32B a 10–14 tok/s de forma indefinida.
Veredicto: qual implantação usar conforme o tamanho do modelo
Escolha o seu caminho de implantação do Qwen pelo tamanho do modelo e pelas horas de uso diário — não pelo quão impressionante o hardware parece.
Decisão de implantação do Qwen
Use a local LLM if:
- •Qwen3 8B ou 14B e você o usa 4+ horas por dia → compre um mini PC ou GPU; a nuvem é mais cara
- •Você precisa de latência < 80 ms para fluxos de trabalho interativos de código ou documentos
- •Você processa dados privados que não devem sair da sua rede
- •Você já tem uma GPU de desktop com 12+ GB de VRAM parada
Use a cloud model if:
- •Qwen2.5-72B para uso ocasional (< 4 horas/dia) — a RunPod A40 48 GB a US$ 0,44/h é muito mais barata do que um build com duas GPUs
- •Você precisa testar o Qwen2.5-72B antes de se comprometer com uma compra de hardware
- •O seu uso é irregular e imprevisível — a nuvem escala para zero quando ociosa
- •Você está fora dos EUA/UE e os custos de frete ou impostos de importação encarecem o hardware
Quick decision:
- →Qwen3 8B diariamente: Minisforum UM890 Pro (US$ 429)
- →Qwen3 14B diariamente: AOOSTAR + RTX 4060 Ti (~US$ 800)
- →Qwen3 32B diariamente: ATX compacto + RTX 4090 (~US$ 2.800)
- →Qwen2.5-72B ocasional: RunPod A40 48 GB (US$ 0,44/h)
Guias relacionados
- Configuração básica do Qwen com Ollama (iniciantes): /pt/power-local-llm/run-qwen-locally-guide-2026
- Guia de compra de GPU para LLMs locais: /pt/power-local-llm/best-gpu-buying-guide-local-llm-2026
- Armazenamento NAS para arquivos de modelos: /pt/power-local-llm/best-nas-storage-local-ai-models-2026
- Comparação de GPU na nuvem (provedores ocidentais): /pt/power-local-llm/cloud-gpu-rental-guide-2026
Perguntas frequentes
Existe um modelo Qwen3 7B?
Não. A linha densa do Qwen3 é 0,6B, 1,7B, 4B, 8B, 14B e 32B — não há 7B. Se você buscou "Qwen3 7B", o modelo mais próximo é o Qwen3-8B (ollama pull qwen3:8b), que ocupa ~5–6 GB de VRAM em Q4_K_M e roda cerca de 25 tok/s em uma RTX 3060 12 GB. Para um modelo da classe 72B, use o Qwen2.5-72B.
Posso rodar o Qwen2.5-72B em uma única RTX 4090?
Não. O Qwen2.5-72B com quantização Q4_K_M requer 43,5 GB de VRAM. Uma RTX 4090 tem 24 GB. Você precisa de duas RTX 4090 (48 GB combinados), uma A100 80 GB ou aluguel de GPU na nuvem. Uma única RTX 4090 consegue rodar o Qwen3 32B com Q4_K_M (20,1 GB) com folga.
Qual é a diferença entre Ollama e vLLM para a implantação do Qwen em produção?
O Ollama é mais fácil de configurar e gerencia automaticamente a divisão multi-GPU — a melhor opção para servidores pessoais e times com menos de 20 usuários simultâneos. O vLLM usa paralelismo tensorial e batching contínuo, sendo 2–4 vezes mais eficiente sob carga simultânea — a melhor opção para mais de 100 requisições por hora ou APIs de produção que atendem muitos usuários.
O Ollama suporta inferência multi-GPU para o Qwen de forma nativa?
Sim, desde o Ollama 0.3.0 (2025). Defina CUDA_VISIBLE_DEVICES=0,1 para especificar quais GPUs usar. O Ollama divide o modelo automaticamente. Para o Qwen2.5-72B em duas RTX 4090, espere 5–8 tok/s — menos do que em um A100 80 GB único porque o modelo deve ser dividido por PCIe em vez de NVLink em configurações de consumo.
A Alibaba Cloud é mais barata do que a RunPod para a inferência do Qwen?
A Alibaba Cloud PAI custa US$ 0,50–2,00/h conforme o nível de GPU e a região. A RunPod A40 48 GB custa US$ 0,44/h. Para o Qwen especificamente, a Alibaba Cloud oferece ambientes de inferência Qwen pré-configurados com runtimes otimizados que podem ser 20–30% mais rápidos do que o Ollama genérico — vale a pena testar se você já está no ecossistema da Alibaba Cloud. Para puro custo, as instâncias spot da RunPod são mais baratas.
Quanta eletricidade consome um servidor Qwen sempre ativo?
Um Minisforum UM890 Pro rodando o Qwen3 8B em CPU consome 12 W em repouso e 45 W sob carga. Às tarifas elétricas médias dos EUA (US$ 0,16/kWh), funcionar 24/7 custa ~US$ 0,70–1,80/mês. Uma RTX 4060 Ti 16 GB sob carga consome 165 W — somado ao repouso do mini PC (~25 W) dá ~190 W no total, ou ~US$ 7–8/mês a plena carga 24/7.
Posso usar a API do Qwen self-hosted com aplicações compatíveis com ChatGPT?
Sim. O Ollama expõe uma API compatível com OpenAI em http://seu-servidor:11434/v1. Defina OPENAI_API_BASE=http://seu-servidor:11434/v1 e OPENAI_API_KEY=qualquer-valor na sua aplicação. Qualquer ferramenta que chame a API de Chat Completions da OpenAI — Continue.dev, Cursor (modo local), LangChain, AutoGen — funciona sem modificações.
Registro de atualizações
- 2026-05-26: Publicação inicial. Dados de benchmark de hardware de maio de 2026. Preços verificados na Newegg, Amazon e rastreadores do mercado de GPU.
- Próxima revisão programada: 2026-11-26