Principais conclusões
- A implantação na borda otimiza joules por token em relação a um ponto de projeto térmico — não tokens por segundo em relação à VRAM, a métrica de desktop.
- Um modelo de 1.5B a 9.45 tok/s com 2.1W (Hailo-10H, segundo dados publicados pela Hailo) é um resultado forte no embarcado, embora fosse fraco no desktop.
- Quatro classes de hardware cobrem a maioria dos produtos: placa SBC + HAT NPU, acelerador dedicado M.2, SoC de borda integrado e módulo de GPU embarcado — ajustadas ao orçamento de energia, não ao tamanho bruto do modelo.
- O NVIDIA Jetson AGX Thor (T5000) entrega 2.070 TFLOPS FP4 esparso com 40–130W e 128GB de LPDDR5X a 273GB/s, segundo a ficha técnica da NVIDIA — o topo da classe de GPU embarcada.
- A largura de banda de memória, não a capacidade, limita a velocidade de geração de tokens — uma placa com mais DRAM na mesma GB/s não gera tokens mais rápido.
- A faixa de temperatura industrial e o ciclo de vida do componente devem ser confirmados antes de escolher o modelo, não depois — um componente com ciclo de vida de 3 anos não pode ir num produto com 10 anos de vida útil.
- Muitas cadeias de ferramentas de NPU aceitam apenas um conjunto fixo de esquemas de quantização, então o plano de quantização deve seguir as restrições do compilador do hardware-alvo, não o contrário.
Quais são as quatro classes de hardware de IA de borda?
Quatro classes de hardware cobrem quase toda implantação de LLM na borda, e escolher a classe errada custa mais tempo de engenharia do que escolher o modelo errado. Cada classe ocupa um ponto diferente na curva de potência versus flexibilidade. Ajustar a classe ao orçamento de energia e ao requisito de vida útil do produto vem antes de comparar chips individuais dentro dessa classe.
📍 Em uma frase
O hardware de IA de borda se divide em quatro classes — placa SBC + HAT NPU, acelerador M.2 dedicado, SoC de borda integrado e módulo de GPU embarcado — ajustadas ao orçamento de energia do produto, não ao tamanho bruto do modelo.
💬 Em termos simples
Uma placa SBC + HAT NPU é barata e flexível, mas esquenta num gabinete selado. Um acelerador M.2 dedicado faz uma única tarefa com potência muito baixa. Um SoC integrado é um computador completo num chip, projetado para robótica e câmeras. Um módulo de GPU embarcado comprime potência de classe desktop no tamanho de um produto.
- Placa SBC + HAT NPU — um computador de placa única de uso geral (classe Raspberry Pi 5) combinado com uma placa aceleradora NPU adicional. Menor custo de lista de materiais, pilha de software mais flexível, desempenho térmico sustentado mais fraco uma vez selado num gabinete sem fluxo de ar.
- Módulo acelerador dedicado (M.2) — um chip de inferência de função fixa como o Hailo-10H, adicionado a uma placa portadora existente via slot M.2/PCIe. Executa uma única tarefa — inferência quantizada — com potência muito baixa; não é uma plataforma de computação geral e não consegue rodar um sistema operacional.
- SoC de borda integrado — um único chip combinando CPU, GPU ou NPU e E/S num mesmo die, dimensionado para um envelope de energia específico. A família NVIDIA Jetson Orin (Orin Nano Super, Orin NX, AGX Orin) e o Rockchip RK3588 são a escolha padrão para produtos de robótica e câmeras em volume.
- Módulo de GPU embarcado — uma GPU de classe discreta reduzida a um módulo para o topo da computação de borda, como o NVIDIA Jetson AGX Thor (T5000). Usado quando o produto realmente precisa de throughput de classe desktop — percepção multicâmera, robótica humanoide — dentro de um orçamento embarcado de energia e térmico.
Quais três restrições os guias de hardware de desktop ignoram?
Guias de LLM local para desktop otimizam a capacidade de VRAM e o pico de tokens por segundo; produtos embarcados estão sujeitos a três restrições diferentes que um benchmark de desktop nunca precisa considerar.
- Ponto de projeto térmico, não especificação de pico. O valor de TOPS de uma ficha técnica geralmente assume um fluxo de ar que a maioria dos gabinetes selados e sem ventoinha não tem. O que importa é o throughput sustentado a 70 °C ambiente dentro do gabinete real — sob throttling térmico, o throughput real pode ficar bem abaixo do pico da ficha técnica.
- A largura de banda de memória, não a capacidade, define a velocidade de geração. A geração de tokens (fase de decodificação) é limitada pela largura de banda: o throughput de decodificação é aproximadamente limitado pela largura de banda de memória em GB/s dividida pelos bytes lidos por token. Uma placa com mais DRAM mas a mesma GB/s não gera tokens mais rápido — por isso a pegada de 1.2GB e o cache KV de 2.048 tokens do Hailo-10H a 2.1W de média são um ponto de projeto bem diferente da folga de VRAM de uma GPU de desktop.
- Faixa de temperatura industrial e ciclo de vida do componente, não tabelas de benchmark. SoCs de consumo costumam ser adquiridos em ciclos de projeto de 2–3 anos. Um produto comprometido com uma vida útil de 10 anos precisa de um componente com compromisso de fornecimento equivalente e faixa de operação estendida — um componente que não pode mais ser adquirido no quarto ano força um redesenho de hardware no meio da vida útil, não importa o quão bem ele rodava o modelo-alvo no primeiro dia.
Como especificar a computação de borda para um produto?
Defina o orçamento de energia e o requisito de vida útil antes de avaliar qualquer chip específico. Os passos abaixo seguem a ordem que evita o retrabalho mais comum: escolher um modelo primeiro e só depois descobrir que ele não cabe no orçamento de energia ou de ciclo de vida.
- 1Defina primeiro o orçamento de energia, não o modelo
Why it matters: Produtos embarcados têm um envelope térmico ou de energia fixo — capacidade de bateria, uma linha PoE compartilhada, um limite de resfriamento passivo — e o modelo precisa caber no que sobra depois de sensores, rádios e atuadores. - 2Estabeleça uma meta de joules por token, não de tokens por segundo
Why it matters: Um número de tokens/s sem contexto de energia não pode ser comparado entre classes de acelerador. Joules por token é o número que realmente determina a autonomia da bateria ou a folga térmica do produto final. - 3Separe largura de banda e capacidade de memória na folha de especificações
Why it matters: A velocidade de geração é limitada pela GB/s até os pesos e o cache KV, não pela quantidade de DRAM na placa. Um buffer maior que não pode ser lido rápido o suficiente não aumenta o throughput de decodificação. - 4Confirme a faixa de temperatura industrial e o ciclo de vida de fornecimento antes do modelo, não depois
Why it matters: Um componente com compromisso de fornecimento de 3 anos não pode ir num produto com compromisso de serviço de 10 anos, não importa o quão bem ele rode o modelo-alvo em laboratório. - 5Confirme quais esquemas de quantização a cadeia de ferramentas da NPU realmente aceita
Why it matters: Muitos compiladores de NPU embarcada suportam apenas um conjunto fixo de esquemas de quantização de pesos, ativações e cache KV. Valide isso contra o compilador antes de se comprometer com um modelo, não depois de uma falha de compilação. - 6Restrinja candidatos no seletor interativo abaixo e depois valide em silício real
Why it matters: Um filtro de energia / tamanho de modelo / vídeo / faixa de temperatura reduz o campo a uma lista curta em minutos. Só dados de bancada medidos no acelerador real, dentro do gabinete real, confirmam os joules por token do seu produto.
Encontre o hardware de borda certo para o seu produto
Essa é a forma mais rápida de transformar um orçamento de energia e um tamanho de modelo-alvo numa lista curta. Ajuste o envelope de energia, o tamanho do modelo em bilhões de parâmetros, e se o produto precisa de ingestão de vídeo ou de uma faixa de temperatura industrial — a tabela abaixo é atualizada mostrando quais classes de plataforma vale a pena testar em seguida.
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
Como os chips de IA de borda se comparam em energia e computação?
Especificações documentadas pelos fabricantes das plataformas citadas neste guia, conferidas com documentação primária dos fabricantes em 02/09/2026. Valores marcados como "relatado" vêm de fontes secundárias em vez de uma ficha técnica primária do fabricante e são apresentados com essa ressalva — trate-os como aproximados até confirmar com seu próprio contato de fornecedor.
Plataforma | Classe | Computação IA pico | Potência (TDP) | Memória / BW |
|---|---|---|---|---|
| Jetson AGX Thor (T5000) | Módulo de GPU embarcado | 2.070 TFLOPS FP4 esparso | 40–130W | 128GB LPDDR5X, 273GB/s |
| Jetson AGX Orin 64GB | SoC de borda integrado | 275 TOPS | 15–60W | 64GB LPDDR5 |
| Jetson Orin NX | SoC de borda integrado | ~157 TOPS (relatado) | 10–40W | 8/16GB LPDDR5 |
| Jetson Orin Nano Super | SoC de borda integrado | ~67 TOPS (relatado) | 7–25W | 8GB LPDDR5 |
| Hailo-10H | Acelerador dedicado (M.2) | Inferência de função fixa | < 5W (formato M.2) | 1.2GB de pegada (medido) |
| Rockchip RK3588 | SBC + NPU | 6 TOPS (NPU de 3 núcleos) | Nível de placa, poucos W | Compartilhada com o SBC hospedeiro |
| Ambarella série N | SoC de visão integrado | Não divulgado | Não divulgado | Lançado na CES 2026, multissensor + IA generativa de borda |
| Qualcomm série QRB | SoC de borda integrado | Depende da plataforma | Depende da plataforma | Dominante em drones — ver artigo irmão |
O Jetson AGX Thor também traz uma porta QSFP 4×25GbE e suporta até 32 câmeras MIPI CSI-2; a NVIDIA afirma até 7,5x mais computação de IA e 3,5x melhor eficiência energética frente ao Jetson AGX Orin. Ambos os números são comparações da própria NVIDIA, não um benchmark independente feito para este artigo.
Como é, na prática, um modelo de 1.5B em silício dedicado?
A Hailo publicou um resultado medido para o Qwen2-1.5B-Instruct rodando no Hailo-10H que ilustra toda a tese deste guia: 9,45 tokens por segundo com 2,1W de potência média. Pelos critérios de desktop, 9,45 tok/s de um modelo de 1.5B é resultado sem graça. Pelos critérios embarcados — um módulo M.2 abaixo de 5W consumindo pouco mais que o standby de um carregador de celular — é a diferença entre um produto que roda numa bateria pequena e outro que precisa de um gabinete maior e uma ventoinha.
Os números abaixo são dados de benchmark publicados pela própria Hailo, não uma medição independente feita para este artigo — cite-os como documentados pelo fabricante numa especificação.
Métrica | Valor |
|---|---|
| Modelo | Qwen2-1.5B-Instruct |
| Throughput | 9,45 tok/s |
| TTFT (96 tokens de entrada) | 289 ms |
| Potência média | 2,1 W |
| Pegada de memória | 1,2 GB |
| Cache KV | 2.048 tokens (~1.536 palavras) |
| Quantização de pesos | 4 bits simétrica, por grupo |
| Quantização de ativações | 8 bits assimétrica, por tensor |
| Quantização do cache KV | 8 bits assimétrica, por tensor |
| Suporte de runtime / SO | HailoRT — Linux, Windows, Android |
O HailoRT roda em Linux, Windows e Android, e o módulo em si tem formato M.2 abaixo de 5W — o ponto de comparação relevante para um produto limitado por bateria ou PoE, não um ranking de tokens/s de desktop.
Como quantizar um modelo para um alvo de NPU embarcada?
Cadeias de ferramentas de NPU embarcada costumam aceitar um conjunto fixo e menor de esquemas de quantização do que uma pilha de inferência de desktop, então o compilador do hardware-alvo deve decidir o plano de quantização, não o contrário. Confirme o esquema aceito antes de escolher um modelo, não depois de uma falha de compilação.
A quantização estática fixa antecipadamente a escala e o ponto zero de pesos e ativações usando um conjunto de calibração — é isso que a maioria dos compiladores de NPU de função fixa exige, porque permite ao chip evitar o custo em tempo de execução de calcular parâmetros de quantização em tempo real. A quantização dinâmica calcula esses parâmetros no momento da inferência e é mais flexível, mas poucos compiladores de NPU embarcada a suportam, já que ela adiciona latência que o pipeline de função fixa foi justamente projetado para evitar.
A quantização de ativações por tensor (um único fator de escala para todo um tensor de ativação, como usa a configuração Qwen2-1,5B publicada pela Hailo em 8 bits assimétrica) é o padrão embarcado comum: é mais barata de aplicar para a NPU do que um esquema por canal, com um custo de precisão moderado que geralmente é aceitável para os prompts curtos e específicos de tarefa típicos de um produto embarcado.
Um cache KV quantizado — 8 bits assimétrica por tensor no exemplo do Hailo-10H acima — reduz a memória que o acelerador precisa manter e reler a cada token gerado, elevando diretamente o teto de tokens/s descrito na restrição de largura de banda de memória acima. Veja como funciona a quantização de LLM e o que cada formato realmente muda para a mecânica subjacente da quantização de pesos, ativações e cache KV, compartilhada entre alvos de desktop e embarcados.
O que comprar para prototipar um produto de IA de borda?
Prototipe num kit de desenvolvimento da mesma classe de hardware que você planeja fabricar, não numa caixa de GPU de desktop — o comportamento térmico e de energia da classe de produção é exatamente o que uma bancada de desktop não pode te mostrar.
- Kits de desenvolvimento NVIDIA Jetson — a forma padrão de prototipar as classes SoC de borda integrado e módulo de GPU embarcado antes de se comprometer com uma placa portadora de produção. Confirme disponibilidade e preços atuais diretamente com a NVIDIA ou um distribuidor autorizado; referências e preços específicos mudam com frequência demais para citar aqui de forma confiável.
- Módulos aceleradores Hailo M.2 — a forma padrão de prototipar a classe de acelerador dedicado numa placa portadora existente que já tenha um slot M.2/PCIe livre. Confirme disponibilidade atual diretamente com a Hailo ou um distribuidor autorizado.
- Raspberry Pi AI HAT+ — a forma padrão de prototipar a classe placa SBC + HAT NPU de forma barata antes de decidir se o produto realmente precisa de uma classe de computação superior. Confirme preços e disponibilidade atuais diretamente com a Raspberry Pi ou um revendedor autorizado.
- Placas portadoras e gabinetes industriais — necessários assim que um protótipo sai da bancada de laboratório rumo à faixa de temperatura estendida e à tolerância a vibração que um produto de produção exige; especifique-os com um fornecedor embarcado industrial, não uma placa portadora de consumo, assim que o cronograma do produto exigir.
Quando a inferência de borda é a escolha errada?
A inferência de borda é a escolha padrão errada em três situações comuns de produto — forçá-la mesmo assim geralmente custa mais tempo de engenharia do que economiza em latência ou privacidade.
- Cargas de trabalho intermitentes com longos períodos ociosos. Se o produto só precisa de inferência ocasionalmente e tem conectividade confiável no restante do tempo, o orçamento fixo de energia e de lista de materiais de um silício de borda dedicado é gasto mantendo uma capacidade raramente usada — uma chamada à nuvem durante a janela ativa costuma ser mais barata ao longo da vida do produto.
- Tarefas que realmente dependem de raciocínio de fronteira. Um modelo pequeno o suficiente para caber num orçamento de energia de borda não vai igualar um modelo grande hospedado em raciocínio aberto, planejamento em múltiplas etapas ou conhecimento amplo de mundo — silício de borda é a escolha certa para uma tarefa estreita e bem especificada, não para um assistente de propósito geral.
- Produtos com conectividade confiável e sem restrição de privacidade ou latência. Se nada no produto exige que os dados permaneçam no dispositivo e nada exige uma resposta abaixo de 100 ms sem ida e volta pela rede, o argumento para pagar o orçamento de energia e custo do silício de borda enfraquece consideravelmente — verifique se a restrição é real antes de projetar em torno dela.
Qual regulação se aplica a máquinas movidas a IA em 2026?
O Regulamento de Máquinas da UE (2023/1230), aplicável a partir de janeiro de 2027, trata funções de segurança movidas a IA em máquinas como de alto risco — isso se cruza diretamente com o AI Act da UE para qualquer produto de borda em que a saída de um LLM ou VLM possa afetar uma função de segurança física. Isso é informação geral de contexto, não aconselhamento jurídico; confirme a aplicabilidade a um produto específico com assessoria regulatória qualificada antes de lançar.
O gatilho prático é estreito, mas importante: se um resultado de inferência de borda (uma classificação de objeto, uma decisão de planejamento, um alerta de análise de vídeo) alimenta uma função de controle relevante para a segurança de uma máquina, tanto os requisitos essenciais de saúde e segurança do Regulamento de Máquinas quanto a classificação de alto risco do AI Act podem se aplicar simultaneamente. Um produto que usa inferência de borda apenas para uma função não relacionada à segurança (uma interface de voz, um painel de análise) fica fora dessa sobreposição específica, embora outras obrigações do AI Act ainda possam se aplicar dependendo do caso de uso.
Essa é uma dimensão de conformidade que um guia de LLM local para desktop nunca precisa enfrentar, porque uma aplicação de desktop não é, por definição, uma peça de maquinário com função de segurança. Incorporar isso cedo na especificação de hardware — em vez de adaptar depois um design já fechado — é a lição prática para produtos dentro desse escopo.
Para produtos que também processam dados pessoais no Brasil (por exemplo, dados de câmera ou sensores com identificação de pessoas), a LGPD (Lei Geral de Proteção de Dados) e a fiscalização da ANPD se aplicam independentemente de a inferência rodar localmente ou na nuvem; a inferência local pode facilitar a residência de dados exigida pela LGPD porque os dados brutos costumam nunca sair do dispositivo, mas isso não substitui uma avaliação de impacto à proteção de dados própria. Isso não é aconselhamento jurídico.
Perguntas frequentes
Qual é a diferença essencial entre a seleção de hardware de LLM de desktop e de borda?
A seleção de desktop otimiza tokens por segundo em relação à VRAM disponível. A seleção de borda otimiza joules por token em relação a um ponto de projeto térmico e orçamento de energia fixos — o modelo precisa caber na energia que sobra no produto, não o contrário.
Um modelo pequeno numa NPU dedicada é realmente melhor que um maior numa GPU?
Com um orçamento de energia fixo, muitas vezes sim. Um modelo de 1.5B a 9,45 tok/s com 2,1W no Hailo-10H, segundo o benchmark publicado pela Hailo, é um resultado fraco no desktop e forte no embarcado — a comparação só faz sentido depois de fixada a restrição de energia.
O que é um ponto de projeto térmico e por que ele importa para LLMs de borda?
É a condição de operação sustentada — tipicamente a temperatura ambiente dentro de um gabinete selado, muitas vezes sem ventoinha — na qual um chip precisa entregar seu desempenho nominal, em contraste com o pico da ficha técnica medido com fluxo de ar que a maioria dos produtos não tem. O throughput real sob throttling térmico pode ficar bem abaixo desse pico.
Por que a largura de banda de memória importa mais que a capacidade para a geração de tokens?
A geração de tokens é limitada pela largura de banda: a velocidade de decodificação é aproximadamente limitada pela largura de banda de memória em GB/s dividida pelos bytes lidos por token. Uma placa com mais DRAM na mesma GB/s não gera tokens mais rápido — largura de banda, não capacidade, define o teto.
O que é uma faixa de temperatura industrial e por que ela importa para o ciclo de vida do produto?
É uma faixa de operação estendida (bem além dos 0–40 °C típicos de consumo) para a qual um componente é qualificado e adquirido ao longo de um compromisso plurianual. Um componente de consumo, comumente adquirido num ciclo de 2–3 anos, não pode ir num produto com 10 anos de vida útil sem forçar um redesenho de hardware no meio da vida útil.
Quanta energia o Hailo-10H consome rodando um LLM pequeno?
Segundo dados publicados pela Hailo, o Hailo-10H consome em média 2,1W rodando o Qwen2-1.5B-Instruct a 9,45 tok/s, com pegada de memória de 1,2GB e cache KV de 2.048 tokens, em um formato M.2 abaixo de 5W.
Qual computação o NVIDIA Jetson AGX Thor entrega?
Segundo a ficha técnica da NVIDIA, o Jetson AGX Thor (T5000) entrega 2.070 TFLOPS FP4 esparso (1.035 TFLOPS FP4 denso, 517 TFLOPS FP8 denso) com 40–130W, com 128GB de memória LPDDR5X a 273GB/s por um barramento de 256 bits.
Devo quantizar pesos, ativações ou o cache KV para uma NPU de borda?
Geralmente os três, dentro do esquema que o compilador da NPU-alvo aceitar. Quantização estática de ativações por tensor e um cache KV quantizado são os padrões embarcados comuns, porque a maioria das cadeias de ferramentas de NPU de função fixa suporta apenas um conjunto limitado e fixo de esquemas — confirme o esquema aceito antes de escolher um modelo.
Quando eu não deveria usar inferência de borda?
Evite inferência de borda para cargas intermitentes e pouco frequentes com conectividade confiável, para tarefas que realmente precisam de raciocínio de fronteira além do que um modelo de tamanho de borda pode entregar, e para produtos sem restrição real de privacidade ou latência que exija que os dados fiquem no dispositivo.
Como começo a especificar computação de borda para um novo produto?
Defina o orçamento de energia e a vida útil exigida antes de avaliar qualquer chip específico, estabeleça uma meta de joules por token em vez de tokens por segundo, confirme a largura de banda de memória e a faixa de temperatura industrial em relação às restrições do produto, e depois use o seletor interativo desta página para restringir candidatos antes de testar em silício real.