AnimateDiff : animer un modèle Stable Diffusion (guide 2026)

AnimateDiff est un module de mouvement, pas un modèle de génération vidéo autonome. Il se greffe sur un checkpoint Stable Diffusion 1.5 ou SDXL que vous avez déjà — y compris les fine-tunes communautaires et LoRA — et ajoute la cohérence temporelle (d'une image à l'autre) pour que ce modèle produise de courts clips animés dans son style visuel existant, sans réentraîner le checkpoint lui-même.

Le projet est l'implémentation officielle de l'article Guo et al., « AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning », ICLR 2024 Spotlight, arXiv:2307.04725, maintenu sur GitHub à github.com/guoyww/AnimateDiff.

C'est une lignée différente des modèles vidéo natifs plus récents comme Wan 2.2, LTX-2 ou HunyuanVideo, entraînés depuis zéro sur des données vidéo — voir Génération vidéo IA locale vs. cloud pour cette comparaison. La valeur spécifique d'AnimateDiff est la préservation du style : parce qu'il réutilise votre checkpoint existant plutôt qu'un modèle vidéo entraîné séparément, la sortie conserve exactement le personnage, le style artistique ou le LoRA sur lequel vous comptez déjà pour vos images fixes.

Une publication distincte et distillée — AnimateDiff-Lightning (Lin & Yang, ByteDance, « Cross-Model Diffusion Distillation », arXiv:2403.12706) — échange un peu de qualité contre de la vitesse, générant en aussi peu que 1, 2, 4 ou 8 étapes de diffusion au lieu des 20-50 habituelles, via une distillation adversariale progressive.

Le module de mouvement est un ensemble séparé de poids entraînés inséré dans le U-Net de Stable Diffusion aux côtés des couches existantes du checkpoint, sans modifier ce checkpoint. Pendant la génération, les couches d'attention temporelle du module de mouvement coordonnent ce qui serait autrement un lot de générations d'images fixes indépendantes en une séquence cohérente d'images.

Trois versions du module de mouvement existent pour SD1.5 : mm_sd_v15_v2.ckpt (environ 1,7 Go) et le plus récent v3_sd15_mm.ckpt (environ 1,56 Go), qui améliore l'amplitude du mouvement et ajoute la compatibilité avec les motion LoRAs. Un module de mouvement SDXL séparé, mm_sdxl_v10_beta.ckpt (environ 950 Mo), cible la famille de checkpoints SDXL plus large via une branche bêta.

Comme le module de mouvement est un composant enfichable plutôt qu'un fine-tune de votre checkpoint, tout checkpoint SD1.5 compatible et la plupart des LoRA SD1.5 déjà installés peuvent être animés directement, sans télécharger une version « vidéo » séparée de ce modèle — le compromis est que le module de mouvement lui-même, pas votre checkpoint, détermine l'amplitude de mouvement que la sortie peut exprimer.

La majorité de l'usage d'AnimateDiff en 2026 passe par l'une de deux intégrations communautaires, le dépôt de base étant une base de code de recherche plutôt qu'une application aboutie. ComfyUI-AnimateDiff-Evolved est l'option la plus activement développée ; l'extension AUTOMATIC1111 couvre les lecteurs déjà standardisés sur cette interface.

Les workflows AnimateDiff basés sur SD1.5 tournent couramment avec 8-12 Go de VRAM pour du texte-vers-vidéo basique en résolution modérée (environ 512x512, la fenêtre native de 16 images du module) ; le support SDXL demande sensiblement plus.

Le dépôt officiel indique que l'inférence SDXL « nécessite habituellement environ 13 Go de VRAM », selon le checkpoint personnalisé et les paramètres de génération utilisés. Les retours communautaires pour les workflows SD1.5 varient selon la résolution, le nombre d'images, et la présence ou non de ControlNet — attendez-vous au bas de la fourchette 8-12 Go pour un clip court avec les réglages par défaut, et au haut de la fourchette (voire au-delà, vers 16 Go+) une fois que vous ajoutez une résolution plus élevée, plus d'images, ou plusieurs ControlNets dans un pipeline vidéo-vers-vidéo. Ce sont des fourchettes prudentes rapportées par la communauté plutôt qu'un benchmark unique vérifié, car l'usage réel de VRAM dépend fortement du workflow spécifique.

Conseil pratique : une carte à 8 Go est un point de départ viable pour l'expérimentation texte-vers-vidéo SD1.5 aux réglages par défaut ; une carte à 12 Go offre une marge confortable pour les workflows SD1.5 avec ControlNet ; une carte à 16 Go (par ex. une RTX 4070 Ti Super) est le minimum plus confortable une fois que vous passez à AnimateDiff basé sur SDXL ou à des pipelines vidéo-vers-vidéo plus lourds. Les lecteurs dont le GPU est en deçà de ces paliers, ou qui n'ont pas de GPU local, devraient comparer la location — voir Guide de location de GPU cloud 2026 — à l'achat, dans le Meilleur guide d'achat de GPU pour LLM locaux 2026 (les mêmes paliers de VRAM s'appliquent à AnimateDiff qu'aux autres charges de travail d'IA générative locale).

**Les motion LoRAs sont de petits poids additionnels (environ 77 Mo) qui orientent AnimateDiff vers un mouvement de caméra spécifique — zoom avant, zoom arrière, panoramique gauche, panoramique droite, inclinaison haut, inclinaison bas, roulis horaire ou antihoraire — compatibles avec le module de mouvement mm_sd_v15_v2.** Ils fonctionnent comme les LoRA d'image : on en charge un aux côtés du module de mouvement pour orienter la sortie vers ce mouvement, sans changer le style visuel du checkpoint.

Les limites les plus citées, issues du suivi d'incidents du projet lui-même et de retours communautaires, se regroupent autour de trois axes :

Le code AnimateDiff lui-même est publié sous licence Apache 2.0, mais le README du projet précise que la publication est destinée à un usage académique — affirmer « entièrement libre d'usage commercial » n'est donc pas exact sans vérification supplémentaire. C'est exactement le type de surenchère à éviter : Apache 2.0 permet normalement l'usage commercial du code, mais le cadrage académique ajouté par les auteurs signifie que les lecteurs prévoyant de vendre ou de distribuer commercialement leurs sorties devraient lire directement les conditions de licence actuelles du dépôt plutôt que de se fier uniquement à l'étiquette Apache 2.0.

Une seconde couche de licence, distincte, s'applique au checkpoint Stable Diffusion animé. Le checkpoint Stable Diffusion 1.5 d'origine (et de nombreux fine-tunes communautaires qui en dérivent) est distribué sous licence CreativeML OpenRAIL-M, qui autorise l'usage commercial mais comporte ses propres restrictions basées sur l'usage (par exemple, l'interdiction de générer certaines catégories de contenu nuisible) — distinctes de la licence propre d'AnimateDiff et non annulées par celle-ci.

En pratique : vérifiez les deux licences avant tout usage commercial — les conditions de publication d'AnimateDiff dans son dépôt, et la licence attachée au checkpoint spécifique animé (conditions OpenRAIL-M pour le checkpoint SD1.5 d'origine, ou toute licence spécifiée par un fine-tune communautaire particulier, car les fine-tunes peuvent porter des conditions différentes du modèle de base). Ceci n'est pas un conseil juridique ; consultez le texte de licence actuel ou un professionnel du droit avant un déploiement commercial.

AnimateDiff mérite sa place comme la façon la plus directe d'animer un checkpoint Stable Diffusion déjà apprécié, sans rien réentraîner ni quitter son propre matériel. Le compromis est réel et concret : les clips sont courts par défaut (16 images, environ 2 secondes, extensibles mais avec perte de qualité sur des durées plus longues), l'amplitude de mouvement et le suivi de prompt se dégradent quelque peu par rapport à une image fixe du même checkpoint, et la situation de licence exige deux vérifications distinctes — le cadrage académique propre du projet en plus de son code Apache 2.0, et la licence portée par le checkpoint animé — avant tout usage commercial. Pour les lecteurs qui possèdent déjà un checkpoint SD1.5 ou SDXL stylisé et veulent de courtes boucles de mouvement au style cohérent sur leur propre GPU sans coût récurrent, AnimateDiff via ComfyUI-AnimateDiff-Evolved ou l'extension AUTOMATIC1111 est le point de départ pratique. Les lecteurs qui ont besoin de vidéo plus longue, plus cohérente ou photoréaliste devraient plutôt le comparer aux modèles vidéo natifs plus récents dans Génération vidéo IA locale vs. cloud.