Conclusiones clave
- El despliegue en el borde optimiza julios por token frente a un punto de diseño térmico — no tokens por segundo frente a la VRAM, la métrica de escritorio.
- Un modelo de 1.5B a 9.45 tok/s con 2.1W (Hailo-10H, según datos publicados por Hailo) es un resultado sólido en el borde, aunque sería mediocre en escritorio.
- Cuatro clases de hardware cubren la mayoría de los productos: placa SBC + HAT NPU, acelerador dedicado M.2, SoC de borde integrado y módulo GPU embebido — ajustadas al presupuesto de potencia, no al tamaño bruto del modelo.
- El NVIDIA Jetson AGX Thor (T5000) ofrece 2.070 TFLOPS FP4 disperso con 40–130W y 128GB de LPDDR5X a 273GB/s, según la ficha técnica de NVIDIA — lo más alto de la clase GPU embebida.
- El ancho de banda de memoria, no la capacidad, limita la velocidad de generación de tokens — una placa con más DRAM al mismo GB/s no genera tokens más rápido.
- El rango de temperatura industrial y el ciclo de vida del componente deben confirmarse antes de elegir el modelo, no después — un componente con 3 años de ciclo de vida no puede ir en un producto con 10 años de vida útil.
- Muchas cadenas de herramientas de NPU aceptan solo un conjunto fijo de esquemas de cuantización, así que el plan de cuantización debe seguir las restricciones del compilador del hardware objetivo, no al revés.
¿Cuáles son las cuatro clases de hardware de IA de borde?
Cuatro clases de hardware cubren casi todos los despliegues de LLM en el borde, y elegir la clase equivocada cuesta más tiempo de ingeniería que elegir el modelo equivocado. Cada clase ocupa un punto distinto en la curva potencia-flexibilidad. Ajustar la clase al presupuesto de potencia y al requisito de vida útil del producto viene antes de comparar chips concretos dentro de esa clase.
📍 En una frase
El hardware de IA de borde se divide en cuatro clases — placa SBC + HAT NPU, acelerador M.2 dedicado, SoC de borde integrado y módulo GPU embebido — ajustadas al presupuesto de potencia del producto, no al tamaño bruto del modelo.
💬 En términos simples
Una placa SBC + HAT NPU es barata y flexible pero se calienta en una carcasa sellada. Un acelerador M.2 dedicado hace una sola tarea con muy baja potencia. Un SoC integrado es un ordenador completo en un chip, pensado para robótica y cámaras. Un módulo GPU embebido comprime potencia de clase escritorio en el tamaño de un producto.
- Placa SBC + HAT NPU — un ordenador de placa única de propósito general (clase Raspberry Pi 5) combinado con una tarjeta aceleradora NPU añadida. El menor coste de materiales, la pila de software más flexible, el rendimiento térmico sostenido más débil una vez sellado en una carcasa sin flujo de aire.
- Módulo acelerador dedicado (M.2) — un chip de inferencia de función fija como el Hailo-10H, añadido a una placa portadora existente mediante una ranura M.2/PCIe. Realiza una sola tarea — inferencia cuantizada — con muy baja potencia; no es una plataforma de cómputo general y no puede ejecutar un sistema operativo.
- SoC de borde integrado — un único chip que combina CPU, GPU o NPU y E/S en un mismo dado, dimensionado para un envolvente de potencia específico. La familia NVIDIA Jetson Orin (Orin Nano Super, Orin NX, AGX Orin) y el Rockchip RK3588 son la elección por defecto para productos de robótica y cámaras en volumen.
- Módulo GPU embebido — una GPU de clase discreta reducida a un módulo para el extremo más alto del cómputo de borde, como el NVIDIA Jetson AGX Thor (T5000). Se usa cuando el producto realmente necesita un rendimiento de clase escritorio — percepción multicámara, robótica humanoide — dentro de un presupuesto embebido de potencia y térmico.
¿Qué tres restricciones ignoran las guías de hardware de escritorio?
Las guías de LLM local para escritorio optimizan la capacidad de VRAM y el pico de tokens por segundo; los productos embebidos están sujetos a tres restricciones distintas que un benchmark de escritorio nunca tiene que considerar.
- Punto de diseño térmico, no especificación pico. La cifra de TOPS de una ficha técnica suele asumir un flujo de aire que la mayoría de las carcasas selladas y sin ventilador no tienen. Lo que importa es el rendimiento sostenido a 70 °C ambiente dentro de la carcasa real — bajo estrangulamiento térmico, el rendimiento real puede quedar muy por debajo del pico de la ficha técnica.
- El ancho de banda de memoria, no la capacidad, determina la velocidad de generación. La generación de tokens (fase de decodificación) está limitada por el ancho de banda: el rendimiento de decodificación está aproximadamente acotado por el ancho de banda de memoria en GB/s dividido entre los bytes leídos por token. Una placa con más DRAM pero el mismo GB/s no genera tokens más rápido — por eso la huella de 1.2GB y la caché KV de 2.048 tokens del Hailo-10H a 2.1W de media son un punto de diseño muy distinto al margen de VRAM de una GPU de escritorio.
- Rango de temperatura industrial y ciclo de vida del componente, no tablas de benchmark. Los SoC de consumo suelen adquirirse en ciclos de diseño de 2–3 años. Un producto comprometido con una vida útil de 10 años necesita un componente con un compromiso de suministro equivalente y un rango de funcionamiento extendido — un componente que no se puede volver a comprar en el cuarto año fuerza un rediseño de hardware a mitad de vida, sin importar lo bien que ejecutara el modelo objetivo el primer día.
¿Cómo se especifica el cómputo de borde para un producto?
Define el presupuesto de potencia y el requisito de vida útil antes de evaluar ningún chip concreto. Los pasos siguientes siguen el orden que evita el retrabajo más habitual: elegir primero un modelo y descubrir después que no encaja en el presupuesto de potencia o de ciclo de vida.
- 1Define primero el presupuesto de potencia, no el modelo
Why it matters: Los productos embebidos tienen un envolvente térmico o de potencia fijo — capacidad de batería, una línea PoE compartida, un límite de refrigeración pasiva — y el modelo debe caber en lo que queda tras sensores, radios y actuadores. - 2Fija un objetivo de julios por token, no de tokens por segundo
Why it matters: Una cifra de tokens/s sin contexto de potencia no se puede comparar entre clases de acelerador. Julios por token es la cifra que realmente determina la autonomía de la batería o el margen térmico del producto final. - 3Separa ancho de banda y capacidad de memoria en la hoja de especificaciones
Why it matters: La velocidad de generación está acotada por los GB/s hacia los pesos y la caché KV, no por la cantidad de DRAM en la placa. Un búfer más grande que no se pueda leer lo bastante rápido no aumenta el rendimiento de decodificación. - 4Confirma el rango de temperatura industrial y el ciclo de vida de suministro antes del modelo, no después
Why it matters: Un componente con un compromiso de suministro de 3 años no puede ir en un producto con un compromiso de servicio de 10 años, sin importar lo bien que ejecute el modelo objetivo en el laboratorio. - 5Confirma qué esquemas de cuantización acepta realmente la cadena de herramientas de la NPU
Why it matters: Muchos compiladores de NPU embebida solo admiten un conjunto fijo de esquemas de cuantización de pesos, activaciones y caché KV. Verifícalo contra el compilador antes de comprometerte con un modelo, no después de un fallo de compilación. - 6Reduce candidatos con el selector interactivo de abajo y valida después en silicio real
Why it matters: Un filtro de potencia / tamaño de modelo / vídeo / rango de temperatura reduce el campo a una lista corta en minutos. Solo los datos de banco medidos en el acelerador real, dentro de la carcasa real, confirman los julios por token de tu producto.
Encuentra el hardware de borde que encaja en tu producto
Esta es la forma más rápida de convertir un presupuesto de potencia y un tamaño de modelo objetivo en una lista corta. Ajusta el envolvente de potencia, el tamaño del modelo en miles de millones de parámetros, y si el producto necesita ingesta de vídeo o un rango de temperatura industrial — la tabla de abajo se actualiza para mostrar qué clases de plataforma merece la pena evaluar a continuación.
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
¿Cómo se comparan los chips de IA de borde en potencia y cómputo?
Especificaciones documentadas por los fabricantes de las plataformas citadas en esta guía, confirmadas contra documentación primaria del fabricante el 02/09/2026. Las cifras marcadas como "reportadas" proceden de fuentes secundarias en lugar de una ficha técnica primaria del fabricante y se presentan con esa salvedad — trátalas como aproximadas hasta confirmarlas con tu propio contacto de proveedor.
Plataforma | Clase | Cómputo IA pico | Potencia (TDP) | Memoria / BW |
|---|---|---|---|---|
| Jetson AGX Thor (T5000) | Módulo GPU embebido | 2.070 TFLOPS FP4 disperso | 40–130W | 128GB LPDDR5X, 273GB/s |
| Jetson AGX Orin 64GB | SoC de borde integrado | 275 TOPS | 15–60W | 64GB LPDDR5 |
| Jetson Orin NX | SoC de borde integrado | ~157 TOPS (reportado) | 10–40W | 8/16GB LPDDR5 |
| Jetson Orin Nano Super | SoC de borde integrado | ~67 TOPS (reportado) | 7–25W | 8GB LPDDR5 |
| Hailo-10H | Acelerador dedicado (M.2) | Inferencia de función fija | < 5W (formato M.2) | 1.2GB de huella (medido) |
| Rockchip RK3588 | SBC + NPU | 6 TOPS (NPU de 3 núcleos) | A nivel de placa, pocos W | Compartida con el SBC anfitrión |
| Ambarella serie N | SoC de visión integrado | No divulgado | No divulgado | Lanzado en CES 2026, multisensor + IA generativa de borde |
| Qualcomm serie QRB | SoC de borde integrado | Depende de la plataforma | Depende de la plataforma | Dominante en drones — ver artículo hermano |
El Jetson AGX Thor también incluye un puerto QSFP 4×25GbE y admite hasta 32 cámaras MIPI CSI-2; NVIDIA afirma hasta 7,5 veces más cómputo de IA y 3,5 veces mejor eficiencia energética frente al Jetson AGX Orin. Ambas cifras son comparaciones propias de NVIDIA, no un benchmark independiente realizado para este artículo.
¿Cómo es en realidad un modelo de 1.5B en silicio dedicado?
Hailo publicó un resultado medido para Qwen2-1.5B-Instruct ejecutándose en el Hailo-10H que ilustra toda la tesis de esta guía: 9,45 tokens por segundo con 2,1W de potencia media. Con criterios de escritorio, 9,45 tok/s de un modelo de 1.5B no tiene nada de especial. Con criterios embebidos — un módulo M.2 de menos de 5W que consume apenas más que el reposo de un cargador de teléfono — es la diferencia entre un producto que funciona con una batería pequeña y otro que necesita una carcasa más grande y un ventilador.
Las cifras siguientes son datos de referencia publicados por el propio Hailo, no una medición independiente realizada para este artículo — cítalas como documentadas por el fabricante en una hoja de especificaciones.
Métrica | Valor |
|---|---|
| Modelo | Qwen2-1.5B-Instruct |
| Rendimiento | 9,45 tok/s |
| TTFT (96 tokens de entrada) | 289 ms |
| Potencia media | 2,1 W |
| Huella de memoria | 1,2 GB |
| Caché KV | 2.048 tokens (~1.536 palabras) |
| Cuantización de pesos | 4 bits simétrica, por grupo |
| Cuantización de activaciones | 8 bits asimétrica, por tensor |
| Cuantización de caché KV | 8 bits asimétrica, por tensor |
| Soporte de runtime / SO | HailoRT — Linux, Windows, Android |
HailoRT está disponible para Linux, Windows y Android, y el módulo en sí tiene un formato M.2 de menos de 5W — el punto de comparación relevante para un producto limitado por batería o PoE, no una tabla de clasificación de tokens/s de escritorio.
¿Cómo cuantizar un modelo para un objetivo de NPU embebida?
Las cadenas de herramientas de NPU embebida suelen aceptar un conjunto fijo y más reducido de esquemas de cuantización que una pila de inferencia de escritorio, así que el compilador del hardware objetivo debe decidir el plan de cuantización, no al revés. Confirma el esquema aceptado antes de elegir un modelo, no después de un fallo de compilación.
La cuantización estática fija por adelantado la escala y el punto cero de pesos y activaciones usando un conjunto de calibración — esto es lo que exigen la mayoría de los compiladores de NPU de función fija, porque permite al chip evitar el coste en tiempo de ejecución de calcular parámetros de cuantización sobre la marcha. La cuantización dinámica calcula esos parámetros en el momento de la inferencia y es más flexible, pero pocos compiladores de NPU embebida la admiten, ya que añade una latencia que la canalización de función fija se diseñó precisamente para evitar.
La cuantización de activaciones por tensor (un único factor de escala para todo un tensor de activación, como usa la configuración de Qwen2-1,5B publicada por Hailo en 8 bits asimétrica) es el estándar embebido habitual: es más barata de aplicar para la NPU que un esquema por canal, con un coste de precisión moderado que suele ser aceptable para los prompts cortos y específicos de tarea típicos de un producto embebido.
Una caché KV cuantizada — 8 bits asimétrica por tensor en el ejemplo del Hailo-10H anterior — reduce la memoria que el acelerador debe retener y volver a leer por cada token generado, elevando directamente el techo de tokens/s descrito en la restricción de ancho de banda de memoria anterior. Consulta cómo funciona la cuantización de LLM y qué cambia realmente cada formato para la mecánica subyacente de la cuantización de pesos, activaciones y caché KV, compartida entre objetivos de escritorio y embebidos.
¿Qué comprar para prototipar un producto de IA de borde?
Prototipa con un kit de desarrollo de la misma clase de hardware que planeas fabricar en serie, no con una caja de GPU de escritorio — el comportamiento térmico y de potencia de la clase de producción es precisamente lo que un banco de escritorio no puede mostrarte.
- Kits de desarrollo NVIDIA Jetson — la forma estándar de prototipar las clases SoC de borde integrado y módulo GPU embebido antes de comprometerse con una placa portadora de producción. Confirma la disponibilidad de modelos y precios actuales directamente con NVIDIA o un distribuidor autorizado; las referencias y precios concretos cambian con demasiada frecuencia como para indicarlos aquí de forma fiable.
- Módulos aceleradores Hailo M.2 — la forma estándar de prototipar la clase de acelerador dedicado sobre una placa portadora existente que ya tenga una ranura M.2/PCIe libre. Confirma la disponibilidad actual directamente con Hailo o un distribuidor autorizado.
- Raspberry Pi AI HAT+ — la forma estándar de prototipar la clase placa SBC + HAT NPU de forma económica antes de decidir si el producto realmente necesita una clase de cómputo superior. Confirma precios y disponibilidad actuales directamente con Raspberry Pi o un distribuidor autorizado.
- Placas portadoras y carcasas industriales — necesarias en cuanto un prototipo pasa del banco de laboratorio al rango de temperatura extendido y la tolerancia a vibraciones que exige un producto en producción; especifícalas con un proveedor embebido industrial, no con una placa portadora de consumo, en cuanto el calendario del producto lo requiera.
¿Cuándo es la inferencia en el borde la decisión equivocada?
La inferencia en el borde es la opción por defecto equivocada en tres situaciones de producto habituales — forzarla de todos modos suele costar más tiempo de ingeniería del que ahorra en latencia o privacidad.
- Cargas de trabajo intermitentes con largos periodos de inactividad. Si el producto solo necesita inferencia ocasionalmente y tiene conectividad fiable el resto del tiempo, el presupuesto fijo de potencia y de lista de materiales de un silicio de borde dedicado se gasta manteniendo una capacidad que el producto usa rara vez — una llamada a la nube durante la ventana activa suele ser más barata a lo largo de la vida del producto.
- Tareas que realmente dependen de razonamiento de frontera. Un modelo lo bastante pequeño para caber en un presupuesto de potencia de borde no igualará a un modelo grande alojado en razonamiento abierto, planificación de varios pasos o conocimiento general amplio — el silicio de borde es la opción correcta para una tarea acotada y bien especificada, no para un asistente generalista.
- Productos con conectividad fiable y sin restricción de privacidad o latencia. Si nada en el producto exige que los datos permanezcan en el dispositivo y nada exige una respuesta en menos de 100 ms sin ida y vuelta de red, el argumento para pagar el presupuesto de potencia y coste del silicio de borde se debilita considerablemente — verifica que la restricción sea real antes de diseñar en torno a ella.
¿Qué regulación se aplica a la maquinaria impulsada por IA en 2026?
El Reglamento de Maquinaria de la UE (2023/1230), aplicable desde enero de 2027, clasifica las funciones de seguridad impulsadas por IA en maquinaria como de alto riesgo — esto se cruza directamente con el Reglamento de IA de la UE para cualquier producto de borde donde la salida de un LLM o VLM pueda afectar a una función de seguridad física. Esta es información general de contexto, no asesoría legal; confirma la aplicabilidad a un producto concreto con asesoría regulatoria cualificada antes de lanzarlo.
El desencadenante práctico es estrecho pero importante: si un resultado de inferencia en el borde (una clasificación de objetos, una decisión de planificación, una alerta de análisis de vídeo) alimenta una función de control relevante para la seguridad de una máquina, pueden aplicarse a la vez los requisitos esenciales de salud y seguridad del Reglamento de Maquinaria y la clasificación de alto riesgo del Reglamento de IA. Un producto que solo usa inferencia en el borde para una función no relacionada con la seguridad (una interfaz de voz, un panel de análisis) queda fuera de este solapamiento específico, aunque otras obligaciones del Reglamento de IA pueden seguir aplicándose según el caso de uso.
Esta es una dimensión de cumplimiento que una guía de LLM local de escritorio nunca tiene que abordar, porque una aplicación de escritorio no es, por definición, una pieza de maquinaria con una función de seguridad. Incorporarlo pronto en la especificación de hardware — en lugar de añadirlo después sobre un diseño ya cerrado — es la lección práctica para los productos afectados.
Para productos que también se comercializan en América Latina, conviene además revisar los marcos locales de protección de datos (por ejemplo, la LFPDPPP en México o la Ley 25.326 en Argentina) cuando la inferencia en el borde procese datos personales, aunque el eje regulatorio principal para la maquinaria con funciones de IA sigue siendo el marco europeo descrito arriba.
Preguntas frecuentes
¿Cuál es la diferencia esencial entre la selección de hardware de LLM de escritorio y de borde?
La selección de escritorio optimiza tokens por segundo frente a la VRAM disponible. La selección de borde optimiza julios por token frente a un punto de diseño térmico y un presupuesto de potencia fijos — el modelo debe caber en la potencia que le queda al producto, no al revés.
¿Un modelo pequeño en una NPU dedicada es realmente mejor que uno más grande en una GPU?
Con un presupuesto de potencia fijo, a menudo sí. Un modelo de 1.5B a 9,45 tok/s con 2,1W en el Hailo-10H, según el benchmark publicado por Hailo, es un resultado mediocre en escritorio y sólido en un producto embebido — la comparación solo tiene sentido una vez fijada la restricción de potencia.
¿Qué es un punto de diseño térmico y por qué importa para los LLM de borde?
Es la condición de funcionamiento sostenido — típicamente la temperatura ambiente dentro de una carcasa sellada, a menudo sin ventilador — en la que un chip debe entregar su rendimiento nominal, frente al pico de la ficha técnica medido con un flujo de aire que la mayoría de los productos no tienen. El rendimiento real bajo estrangulamiento térmico puede quedar muy por debajo de ese pico.
¿Por qué el ancho de banda de memoria importa más que la capacidad para la generación de tokens?
La generación de tokens está limitada por el ancho de banda: la velocidad de decodificación está aproximadamente acotada por el ancho de banda de memoria en GB/s dividido entre los bytes leídos por token. Una placa con más DRAM al mismo GB/s no genera tokens más rápido — el ancho de banda, no la capacidad, marca el techo.
¿Qué es un rango de temperatura industrial y por qué importa para el ciclo de vida del producto?
Es un rango de funcionamiento extendido (muy por encima de los 0–40 °C habituales de consumo) para el que un componente está calificado y aprovisionado durante un compromiso plurianual. Un componente de consumo, comúnmente adquirido en un ciclo de 2–3 años, no puede ir en un producto con 10 años de vida útil sin forzar un rediseño de hardware a mitad de vida.
¿Cuánta potencia consume el Hailo-10H ejecutando un LLM pequeño?
Según los datos publicados por Hailo, el Hailo-10H consume en media 2,1W ejecutando Qwen2-1.5B-Instruct a 9,45 tok/s, con una huella de memoria de 1,2GB y una caché KV de 2.048 tokens, en un formato M.2 de menos de 5W.
¿Qué cómputo ofrece el NVIDIA Jetson AGX Thor?
Según la ficha técnica de NVIDIA, el Jetson AGX Thor (T5000) ofrece 2.070 TFLOPS FP4 disperso (1.035 TFLOPS FP4 denso, 517 TFLOPS FP8 denso) con 40–130W, con 128GB de memoria LPDDR5X a 273GB/s sobre un bus de 256 bits.
¿Debo cuantizar los pesos, las activaciones o la caché KV para una NPU de borde?
Normalmente los tres, dentro del esquema que acepte el compilador de la NPU objetivo. La cuantización estática de activaciones por tensor y una caché KV cuantizada son los estándares embebidos habituales, porque la mayoría de las cadenas de herramientas de NPU de función fija solo admiten un conjunto limitado y fijo de esquemas — confirma el esquema aceptado antes de elegir un modelo.
¿Cuándo no debería usar en absoluto la inferencia en el borde?
Evita la inferencia en el borde para cargas intermitentes y poco frecuentes con conectividad fiable, para tareas que realmente necesiten razonamiento de frontera más allá de lo que un modelo de tamaño de borde puede ofrecer, y para productos sin una restricción real de privacidad o latencia que obligue a los datos a permanecer en el dispositivo.
¿Cómo empiezo a especificar el cómputo de borde para un producto nuevo?
Define el presupuesto de potencia y la vida útil requerida antes de evaluar ningún chip concreto, fija un objetivo de julios por token en lugar de tokens por segundo, confirma el ancho de banda de memoria y el rango de temperatura industrial frente a las restricciones del producto, y luego usa el selector interactivo de esta página para reducir candidatos antes de hacer benchmarking en silicio real.