Key Takeaways
- LM Studio: localhost:1234/v1 — Ative na aba Local Server; sem GPU necessária; compatível com OpenAI.
- Ollama: localhost:11434/v1 — Inicie com `ollama serve`; ideal para scripts e automação.
- vLLM: localhost:8000/v1 — GPU recomendada; uso em produção de alto throughput.
- Altere apenas duas linhas no seu código OpenAI existente: `base_url` e `api_key`.
- Streaming e function calling funcionam com os três backends.
- A LGPD brasileira é atendida: nenhum dado de prompt sai da sua infraestrutura local.
Contexto regional e conformidade
Brasil (LGPD / ANPD) — A API de LLM local mantém todos os dados de prompt na sua infraestrutura. A LGPD (Lei nº 13.709/2018) exige controles adequados para dados pessoais sensíveis. A inferência local elimina a necessidade de Acordos de Processamento de Dados com provedores de nuvem.
UE/GDPR — A inferência local satisfaz o Artigo 28 do GDPR. Nenhum dado sai da sua infraestrutura, satisfazendo os requisitos de residência de dados do setor financeiro, de saúde e jurídico da UE.
Global — A API compatível com OpenAI permite migrar entre modelos locais e de nuvem sem alterações de código.