O que é Prompt Engineering?
Prompt engineering é otimizar o texto do prompt para obter melhores respostas do LLM. Você não muda o modelo nem adiciona dados externos. Você muda o prompt em si: clareza das instruções, exemplos, formato de saída, tom, raciocínio passo a passo. Exemplos: "Responda em formato JSON" (formato), "Aqui estão 3 exemplos" (few-shot), "Pense passo a passo" (estrutura de raciocínio). Prompt engineering funciona porque os LLMs são sensíveis à formulação — a mesma pergunta formulada de maneira diferente produz respostas de qualidade diferente.
O que é RAG?
RAG (Retrieval-Augmented Generation) recupera documentos relevantes de uma base de conhecimento externa e, em seguida, os insere no prompt do LLM. O LLM gera uma resposta com base tanto no prompt quanto no contexto recuperado. Exemplo: o usuário pergunta "Qual é a nossa política de devoluções?" → RAG recupera documentos de política → o LLM gera resposta baseada nesses documentos. RAG resolve o problema de "alucinação em fatos": em vez de o LLM adivinhar, ele referencia um documento.
Comparação lado a lado
Aqui está uma comparação direta:
| Aspecto | Prompt Engineering | RAG |
|---|---|---|
| O que faz | Otimiza o texto do prompt | Recupera + gera |
| Dados externos necessários | Não | Sim (base de conhecimento) |
| Custo por solicitação | $0.001-0.01 | $0.005-0.05 |
| Latência | ~200ms | ~1-3s |
| Risco de alucinação | Alto (se o LLM não tiver o conhecimento) | Baixo (fundamentado em documentos) |
| Infraestrutura necessária | Nenhuma | Vector DB, modelo de embedding, recuperação |
| Melhor para | Raciocínio, criatividade, perguntas gerais | Intensivo em conhecimento, baseado em fatos, dados proprietários |
Prompt Engineering: Pontos Fortes e Limites
Pontos fortes: (1) Sem infraestrutura externa — apenas um prompt e um LLM. (2) Custo baixo — uma única chamada de API, tokens mínimos. (3) Rápido — ~200ms de ponta a ponta. (4) Bom para raciocínio — os LLMs são fortes em lógica e criatividade. (5) Flexível — pode adicionar exemplos, instruções passo a passo, formato de saída na hora.
Limites: (1) Alucinação em fatos — se o LLM não conhece um fato, ele o inventa. (2) Limite de conhecimento — os dados de treinamento só vão até certa data. (3) Janela de contexto limitada — não pode referenciar milhões de documentos. (4) Sem personalização — não pode se adaptar a dados específicos do usuário sem retreinamento.
RAG: Pontos Fortes e Limites
Pontos fortes: (1) Elimina a alucinação — as respostas estão fundamentadas em documentos recuperados. (2) Conhecimento em tempo real — a recuperação pode obter dados atuais, relatórios financeiros, emails. (3) Personalização — pode recuperar documentos específicos do usuário. (4) Conformidade — você controla quais dados o modelo acessa. (5) Explicabilidade — você pode mostrar quais documentos foram citados.
Limites: (1) A qualidade da recuperação importa — recuperação ruim → respostas ruins. (2) Maior custo — recuperação + embedding + prompts mais longos = aumento de custo 2-5x. (3) Maior latência — adiciona 500ms-2s para a recuperação. (4) Complexidade de infraestrutura — requer vector DB, modelo de embedding, lógica de recuperação. (5) Ainda pode alucinar — se os documentos recuperados forem incompletos ou contraditórios.
Trade-offs de Custo e Latência
Custo: Prompt engineering tem apenas custos de tokens do LLM ($0.001-0.01 por solicitação). RAG adiciona: (1) API de embedding ($0.0001-0.001 por 1K tokens), (2) armazenamento de vector DB ($0.01-0.10 por consulta), (3) prompts mais longos (mais tokens na janela de contexto). Custo total de RAG: $0.005-0.05 por solicitação (2-5x mais). Para 1M solicitações/mês: PE custa $1,000-10,000. RAG custa $5,000-50,000.
Latência: PE é ~200ms (uma única chamada ao LLM). RAG é ~1-3s: (1) Embedding da consulta: 100-300ms, (2) Busca no vector DB: 10-100ms, (3) Recuperação de documentos: 100-500ms, (4) Geração do LLM: 500-2000ms. Trade-off: RAG é mais lento, mas mais preciso em tarefas de conhecimento.
Framework de Decisão
Faça-se 3 perguntas:
1. O LLM já tem o conhecimento? Se a tarefa é raciocínio geral (matemática, lógica, escrita criativa, código), o LLM provavelmente já sabe o suficiente. Use prompt engineering.
Se a tarefa requer: documentos da empresa, dados em tempo real, expertise de domínio, info proprietária — o LLM não tem isso. Use RAG.
2. Qual é a sua tolerância a custo/latência? Se você precisa de respostas em <500ms e custo mínimo (por exemplo, API pública de alto volume), use prompt engineering. Se você pode permitir 1-3s e um aumento de custo 2-5x, use RAG.
3. Quão importante é a precisão em fatos? Se a alucinação é inaceitável (assessoria jurídica, financeira, médica), use RAG. Se alguma alucinação é tolerável (brainstorming, escrita criativa), use prompt engineering.
Árvore de decisão: - Tarefa de conhecimento + precisão crítica? → RAG - Raciocínio geral? → Prompt engineering - Precisa de ambos? → RAG + Prompt engineering (recuperar contexto, depois otimizar como ele é apresentado)
Erros comuns
- Usar RAG para tarefas em que prompt engineering é suficiente — adiciona custo e latência desnecessários. Exemplo: perguntar a um LLM "Qual é a capital da França?" não precisa de RAG.
- Usar prompt engineering para tarefas de conhecimento — leva à alucinação. Exemplo: pedir a um LLM que cite as políticas da sua empresa sem fornecê-las via RAG.
- Construir RAG sem investir em qualidade de recuperação — um sistema de recuperação é tão bom quanto sua indexação e ranking. Recuperação ruim → respostas ruins.
- Achar que RAG elimina a alucinação completamente — RAG reduz a alucinação, mas não a elimina. Se a recuperação encontrar documentos incompletos ou contraditórios, o LLM ainda pode cometer erros.
- Não medir a latência de ponta a ponta — a latência do RAG inclui recuperação + embedding + LLM. A latência total importa para a experiência do usuário, não apenas o tempo de resposta do LLM.
- Usar RAG sem um plano de contingência — se a recuperação falhar ou não encontrar nada, o LLM recebe contexto mínimo. Tenha um plano de contingência (resposta padrão, nova consulta com busca mais ampla).
Você pode combiná-los?
Sim — e você deveria. A abordagem ideal para aplicações intensivas em conhecimento é: (1) RAG (recuperar documentos relevantes), (2) Prompt engineering (otimizar como o contexto é apresentado ao LLM). Exemplo: Recuperar docs de suporte → Aplicar prompt engineering ao formato do contexto → o LLM gera uma resposta útil. Isso combina a precisão do RAG com a clareza do prompt engineering. A maioria dos sistemas em produção usa ambos.
Leituras relacionadas
- O que é Prompt Engineering? Um guia para iniciantes
- As melhores ferramentas de Prompt Engineering 2026: classificadas por caso de uso
- Arquitetura RAG: Construindo sistemas de Retrieval-Augmented Generation
- Fine-Tuning vs Prompt Engineering: Quando usar cada um
- Como construir uma biblioteca de prompts para equipes
- Alucinação em LLMs: Causas e soluções
FAQ
O que é prompt engineering?
Prompt engineering é otimizar o texto do prompt que você envia a um LLM para obter melhores respostas. Inclui clareza das instruções, exemplos (few-shot), formato de saída e tom. Não requer dados externos.
O que é RAG?
RAG recupera documentos relevantes de uma base de conhecimento e, em seguida, os insere no LLM. O LLM gera uma resposta fundamentada nesses documentos.
Quando devo usar prompt engineering?
Use-o para raciocínio, criatividade e tarefas de conhecimento geral em que o LLM já sabe o suficiente. É rápido, econômico e não requer infraestrutura.
Quando devo usar RAG?
Use-o para tarefas intensivas em conhecimento: documentos da empresa, dados em tempo real, expertise de domínio. Essencial quando a alucinação é inaceitável.
Qual é a diferença de custo?
PE: $0.001-0.01 por solicitação. RAG: $0.005-0.05 por solicitação (2-5x maior devido a recuperação, embedding, prompts mais longos).
Qual é mais rápido?
PE: ~200ms. RAG: ~1-3s (inclui busca, embedding, recuperação de documentos, geração do LLM).
Posso usar ambos juntos?
Sim. Recupere contexto com RAG, depois use prompt engineering para otimizar como esse contexto é apresentado. É a abordagem mais potente.
Qual é mais preciso?
RAG é mais preciso para fatos (fundamentado em documentos). PE é suficiente para raciocínio e criatividade.
O que acontece se a recuperação do RAG falhar?
Se a base de conhecimento não tiver documentos relevantes, o LLM obtém contexto mínimo e pode alucinar. A qualidade do RAG depende da qualidade da recuperação.
Eu deveria fazer fine-tuning em vez disso?
Fine-tuning ensina mudanças de estilo/formato. Para conhecimento, RAG é mais econômico e rápido. RAG para fatos, fine-tuning para comportamento.