VLM en cámaras y drones 2026: comprensión de vídeo en el dispositivo

Los límites de ancho de banda y de enlace físico son la razón principal por la que la inferencia de cámaras y drones se mueve al dispositivo — el argumento económico llega antes que el argumento de privacidad. Una cámara 4K en streaming continuo a 15–30 fps genera una tasa de bits sostenida que, multiplicada por varias cámaras en un mismo sitio y una ventana de retención de 30 días, acumula costes de transporte y almacenamiento más rápido que el coste único de un acelerador en cámara o de un appliance de borde. La calculadora más abajo en esta página permite hacer ese cálculo para su propio número de cámaras y ventana de retención.

Los drones enfrentan la misma restricción desde la dirección opuesta: en lugar de demasiados datos que mover a bajo coste, tienen muy poco enlace fiable en el que confiar. Un dron en rango operativo tiene un enlace de radio intermitente, de bajo ancho de banda y a veces disputado — una misión que depende de una conexión continua a la nube para interpretar lo que ve el dron falla precisamente cuando la aeronave necesita actuar de forma autónoma, por ejemplo durante interferencia de GPS o fuera del alcance visual directo.

Este planteamiento difiere del argumento centrado en la privacidad que suele usar el contenido existente de este sitio sobre LLM locales para IA de consumo y escritorio. Para cámaras y drones, la primera pregunta del comprador es "¿puedo permitirme mover tanto vídeo, y puedo contar con que el enlace se mantenga estable?" — la privacidad y la residencia de datos son beneficios secundarios reales, no la razón de ser de la arquitectura.

Hoy existen tres arquitecturas para la IA de vídeo de cámaras, y la mayoría de los despliegues en producción combinan al menos dos. La elección correcta depende del número de cámaras por sitio, los requisitos de retención y cuánto coste por unidad puede absorber el presupuesto de hardware.

La inferencia en cámara integra el acelerador dentro de la propia cámara — Hailo-10H y Hailo-15 apuntan exactamente a este punto de diseño con un consumo por debajo de 5 W. Úsela cuando cada cámara deba tomar su propia decisión (grabación activada por movimiento, detección de manipulación en el dispositivo) y la lista de materiales de la cámara pueda absorber un chip por unidad.

El appliance de borde en las instalaciones agrega muchas cámaras en un solo equipo con NVIDIA Jetson Orin o Jetson Thor. Úselo cuando un sitio tenga más cámaras de las que tiene sentido instrumentar individualmente — que Jetson Thor admita hasta 32 entradas de cámara MIPI CSI-2 es una señal clara de que esta plataforma está pensada precisamente para este rol de agregación multi-cámara, no para inferencia de un solo flujo.

El procesamiento en la nube sigue siendo adecuado para sitios con pocas cámaras sin requisito de tiempo real, donde la búsqueda retroactiva en el archivo completo durante meses importa más que la latencia por clip y donde el coste de ancho de banda de unos pocos flujos es aceptable.

En la práctica, la mayoría de los despliegues descritos más adelante en este artículo son híbridos: la detección por clases fijas corre de forma continua en cámara o en el appliance de borde, el almacenamiento en la nube conserva un archivo para búsqueda retroactiva, y la inferencia VLM solo se ejecuta contra clips que un detector más económico ya ha marcado.

El análisis de vídeo pasa de la detección de objetos por clases fijas a la búsqueda VLM de vocabulario abierto — el cambio más reciente en este mercado. Un detector por clases fijas responde "¿hay una persona, un vehículo, o una de las aproximadamente 80 categorías COCO preentrenadas en este fotograma?". Un VLM de vocabulario abierto responde a una consulta descrita — "encuentra el clip donde alguien dejó una bolsa cerca del muelle de carga" — sobre metraje que el detector por clases fijas nunca fue entrenado para reconocer como categoría.

Un VLM no sustituye al detector por clases fijas — trabaja sobre él. Un modelo de visión-lenguaje no se ejecutará a 30 fotogramas por segundo por flujo dentro de un presupuesto de potencia inferior a 5 W; el coste de cómputo y latencia de la inferencia VLM completa es demasiado alto para el procesamiento continuo fotograma a fotograma en ese margen de potencia. En su lugar, el detector por clases fijas sigue haciendo el trabajo continuo de triaje de bajo consumo — movimiento, presencia, clasificación básica — y solo los clips que marca se pasan al VLM para descripción o búsqueda de vocabulario abierto.

Este diseño de dos niveles explica por qué el silicio en cámara como Hailo-10H se describe como acelerador de "GenAI en el borde" en lugar de un procesador VLM a fotograma completo: el chip está dimensionado para inferencia VLM activada e intermitente sobre una detección ligera continua, no para ejecutar un modelo de visión-lenguaje a plena tasa de fotogramas.

Introduzca abajo su número de cámaras, resolución, tasa de fotogramas y ventana de retención para estimar el ancho de banda continuo y el coste de almacenamiento. Úselo antes de elegir entre arquitectura en cámara, appliance de borde o nube — la cifra resultante suele zanjar el debate por sí sola.

Seis comprobaciones separan un despliegue que funciona de uno que falla sobre el terreno. Realícelas en este orden antes de comprometerse con una plataforma de silicio específica.

Los drones trasladan el cómputo a la aeronave por tres razones: margen de enlace, latencia y navegación sin GPS — no porque el cómputo a bordo sea más barato. El enlace de radio de un dron se degrada con el alcance, el terreno y las interferencias de una forma que el cable ethernet de una cámara fija jamás experimenta; una misión que depende de una conexión continua a la nube para interpretar el vídeo falla precisamente cuando la aeronave está más lejos de su operador y más necesita autonomía.

El VOXL 2 de ModalAI, construido alrededor del Qualcomm QRB5165, es la plataforma de referencia para el diseño de cómputo a bordo de la aeronave. Es compatible con PX4, admite odometría visual-inercial (VIO) sin GPS para navegar cuando el posicionamiento satelital no está disponible o está interferido, y empaqueta piloto automático, cómputo y sensores de navegación en un módulo de clase piloto automático de unos 16 gramos — lo bastante pequeño como para competir con la carga útil y la batería por el mismo presupuesto de peso, no con una fuente de alimentación separada.

El peso y la potencia son restricciones estrictas en una aeronave de una forma que no lo son para una cámara atornillada a una pared. Cada gramo de cómputo a bordo es un gramo no disponible para capacidad de batería, carga útil de sensores o autonomía de vuelo — una plataforma de dron no puede simplemente añadir una unidad de rack como puede hacerlo un sitio de cámaras en las instalaciones con un appliance de borde.

Cuatro categorías comerciales explican la mayoría de los despliegues en producción hoy: inspección de infraestructura y servicios públicos, agricultura de precisión, levantamiento y cartografía, y seguridad pública.

Consulte la guía de silicio de borde para las especificaciones completas de Jetson Orin y Jetson Thor — esta tabla se centra en las plataformas específicas de cámaras y drones más relevantes para el análisis de vídeo.

Cuatro categorías de hardware cubren la mayoría de los proyectos VLM de cámara y dron; verifique las ofertas actuales de distribuidores y minoristas, ya que los precios cambian con frecuencia.

Tres capacidades siguen siendo de nivel nube o etapa de investigación en 2026, y ningún acelerador de clase cámara o dron cambia eso este año.

En la UE, las categorías de drones de la EASA — Abierta, Específica, Certificada — determinan el nivel de autonomía permitido por operación, y el marcado CE junto con la Directiva de Equipos Radioeléctricos (RED) se aplican al hardware. Para un proyecto de cámara o dron en España o la UE, la categoría de operación no es un mero trámite — determina qué funciones de autonomía (por ejemplo, una lógica automatizada de detección y reacción) pueden operarse sin autorización adicional. Un integrador de sistemas debería aclarar la categoría EASA prevista antes de especificar el hardware y las funciones de autonomía, no después. Para proyectos fuera de la UE (por ejemplo, en Latinoamérica), las reglas de operación de drones varían por país y deben verificarse por separado con la autoridad de aviación civil correspondiente.

Para conceptos básicos de VLM de escritorio, vea Best Local Vision Models 2026: LLaVA, Qwen3-VL & Ollama, y vuelva aquí para el despliegue embebido y en cámara — esa guía cubre la configuración de modelos visión-lenguaje de escritorio y servidor; esta cubre las restricciones específicas de cámaras y drones en potencia, ancho de banda y peso de la aeronave.