VLM dans les caméras et sur les drones 2026 : comprendre la vidéo en local

Les limites de bande passante et de liaison physique sont la principale raison pour laquelle l'inférence caméra et drone passe en local — l'argument économique arrive avant l'argument de confidentialité. Une caméra 4K en streaming continu à 15–30 im/s génère un débit soutenu qui, multiplié sur plusieurs caméras d'un même site et une fenêtre de rétention de 30 jours, accumule des coûts de transport et de stockage plus vite que le coût unique d'un accélérateur embarqué ou d'une appliance de périphérie. Le calculateur plus bas sur cette page permet de faire ce calcul pour votre propre nombre de caméras et fenêtre de rétention.

Les drones font face à la même contrainte dans le sens inverse : au lieu de trop de données à déplacer à moindre coût, ils disposent de trop peu de liaison fiable sur laquelle compter. Un drone en portée opérationnelle a une liaison radio intermittente, à faible bande passante et parfois contestée — une mission qui dépend d'une connexion cloud continue pour interpréter ce que le drone observe échoue précisément quand l'appareil doit agir de façon autonome, par exemple lors d'un brouillage GPS ou hors de portée visuelle directe.

Ce cadrage diffère de l'argument de confidentialité que privilégie le contenu existant de ce site sur les LLM locaux pour l'IA grand public et de bureau. Pour les caméras et les drones, la première question de l'acheteur est « puis-je me permettre de déplacer autant de vidéo, et puis-je compter sur la stabilité de la liaison » — la confidentialité et la résidence des données sont de réels bénéfices secondaires, pas la raison d'être de l'architecture.

Trois architectures gèrent aujourd'hui l'IA vidéo des caméras, et la plupart des déploiements en production en combinent au moins deux. Le bon choix dépend du nombre de caméras par site, des exigences de rétention et de la marge que le budget matériel peut absorber par unité.

L'inférence en caméra intègre l'accélérateur directement dans la caméra — Hailo-10H et Hailo-15 visent précisément ce point de conception sous 5 W. À utiliser quand chaque caméra doit prendre sa propre décision (enregistrement déclenché par mouvement, détection d'altération embarquée) et que la nomenclature de la caméra peut absorber une puce par unité.

L'appliance de périphérie sur site agrège de nombreux flux caméra dans un boîtier exécutant NVIDIA Jetson Orin ou Jetson Thor. À utiliser quand un site compte plus de caméras qu'il n'est raisonnable d'équiper individuellement — le fait que Jetson Thor prenne en charge jusqu'à 32 entrées caméra MIPI CSI-2 est un signal fort que cette plateforme est conçue précisément pour ce rôle d'agrégation multi-caméra, pas pour l'inférence sur un seul flux.

Le traitement cloud reste adapté aux sites à faible nombre de caméras sans exigence temps réel, où la recherche rétroactive dans l'archive complète sur plusieurs mois compte plus que la latence par clip et où le coût de bande passante d'une poignée de flux est acceptable.

En pratique, la plupart des déploiements décrits plus loin dans cet article sont hybrides : la détection à classes fixes tourne en continu en caméra ou sur l'appliance de périphérie, le stockage cloud conserve une archive pour la recherche rétroactive, et l'inférence VLM ne s'exécute que sur les clips qu'un détecteur moins coûteux a déjà signalés.

L'analyse vidéo passe de la détection d'objets à classes fixes à la recherche VLM à vocabulaire ouvert — le changement le plus récent de ce marché. Un détecteur à classes fixes répond à « cette image contient-elle une personne, un véhicule, ou l'une des quelque 80 catégories COCO préentraînées ? ». Un VLM à vocabulaire ouvert répond à une requête décrite — « trouve le clip où quelqu'un a déposé un sac près du quai de chargement » — sur des images que le détecteur à classes fixes n'a jamais appris à reconnaître comme catégorie.

Un VLM ne remplace pas le détecteur à classes fixes — il s'appuie dessus. Un modèle vision-langage ne tournera pas à 30 images par seconde par flux dans un budget de puissance inférieur à 5 W ; le coût de calcul et de latence de l'inférence VLM complète est trop élevé pour un traitement continu image par image à ce niveau de puissance. À la place, le détecteur à classes fixes continue le travail de tri continu à faible consommation — mouvement, présence, classification de base — et seuls les clips qu'il signale sont transmis au VLM pour description ou recherche à vocabulaire ouvert.

Cette conception à deux niveaux explique pourquoi un silicium embarqué comme Hailo-10H est décrit comme un accélérateur « GenAI en périphérie » plutôt qu'un processeur VLM à pleine cadence : la puce est dimensionnée pour une inférence VLM déclenchée et intermittente, en complément d'une détection légère continue, pas pour faire tourner un modèle vision-langage à pleine fréquence d'image.

Saisissez ci-dessous votre nombre de caméras, la résolution, la fréquence d'images et la fenêtre de rétention pour estimer la bande passante continue et le coût de stockage. À utiliser avant de choisir entre une architecture en caméra, en appliance de périphérie ou en cloud — le chiffre obtenu tranche généralement le débat à lui seul.

Six vérifications distinguent un déploiement qui fonctionne d'un déploiement qui échoue sur le terrain. Effectuez-les dans cet ordre avant de vous engager sur une plateforme silicium précise.

Les drones déplacent le calcul sur la cellule pour trois raisons : la marge de liaison, la latence et la navigation sans GPS — pas parce que le calcul embarqué serait moins cher. La liaison radio d'un drone se dégrade avec la portée, le terrain et les interférences d'une façon que le câble Ethernet d'une caméra fixe ne connaît jamais ; une mission qui dépend d'une connexion cloud continue pour interpréter la vidéo échoue précisément quand l'appareil est le plus éloigné de son opérateur et a le plus besoin d'autonomie.

Le VOXL 2 de ModalAI, construit autour du Qualcomm QRB5165, est la plateforme de référence pour la conception de calcul embarqué sur cellule. Il est compatible PX4, prend en charge l'odométrie visuo-inertielle (VIO) sans GPS pour naviguer quand le positionnement satellite est indisponible ou brouillé, et regroupe autopilote, calcul et capteurs de navigation dans un module de classe autopilote d'environ 16 grammes — assez petit pour concurrencer la charge utile et la batterie pour le même budget de poids, pas une alimentation électrique séparée.

Le poids et la puissance sont des contraintes strictes sur une cellule, d'une façon qu'ils ne le sont pas pour une caméra fixée au mur. Chaque gramme de calcul embarqué est un gramme indisponible pour la capacité de batterie, la charge utile de capteurs ou l'autonomie de vol — une plateforme drone ne peut pas simplement ajouter une unité de rack comme un site caméra sur site peut ajouter une appliance de périphérie.

Quatre catégories commerciales représentent la majorité des déploiements en production aujourd'hui : inspection d'infrastructures et de réseaux, agriculture de précision, relevé et cartographie, et sécurité publique.

Pour les spécifications complètes de Jetson Orin et Jetson Thor, consultez le guide du silicium embarqué — ce tableau reste centré sur les plateformes spécifiques aux caméras et aux drones les plus pertinentes pour l'analyse vidéo.

Quatre catégories de matériel couvrent la plupart des projets VLM caméra et drone ; vérifiez les offres actuelles des revendeurs et distributeurs, les prix changeant fréquemment.

Trois capacités restent, en 2026, du ressort du cloud ou de la recherche, et aucun accélérateur classe caméra ou drone ne change cela cette année.

Dans l'UE, les catégories de drones de l'EASA — Ouverte, Spécifique, Certifiée — déterminent le niveau d'autonomie autorisé par opération, et le marquage CE ainsi que la directive RED (Radio Equipment Directive) s'appliquent au matériel. Pour un projet caméra ou drone en France ou dans l'UE, la catégorie d'exploitation n'est pas une simple formalité — elle détermine quelles fonctions d'autonomie (par exemple une logique automatisée de détection et de réaction) peuvent être exploitées sans autorisation supplémentaire. La CNIL recommande par ailleurs le traitement local pour les données professionnelles sensibles (financières, médicales, juridiques) captées par ce type de systèmes. Un intégrateur système devrait clarifier la catégorie EASA visée avant de spécifier le matériel et les fonctions d'autonomie, pas après.

Pour les bases des VLM de bureau, consultez Best Local Vision Models 2026 : LLaVA, Qwen3-VL & Ollama, puis revenez ici pour le déploiement embarqué et en caméra — ce guide couvre la mise en place de modèles vision-langage de bureau et serveur ; celui-ci couvre les contraintes spécifiques aux caméras et drones en matière de puissance, de bande passante et de poids de cellule.