AnimateDiff 2026: anima cualquier modelo Stable Diffusion

AnimateDiff es un módulo de movimiento, no un modelo de generación de video independiente. Se conecta a un checkpoint de Stable Diffusion 1.5 o SDXL que ya tienes — incluyendo ajustes finos comunitarios y LoRA — y añade coherencia temporal (de fotograma a fotograma) para que ese modelo produzca breves clips animados en su estilo visual existente, sin reentrenar el checkpoint en sí.

El proyecto es la implementación oficial del artículo Guo et al., «AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning», ICLR 2024 Spotlight, arXiv:2307.04725, mantenido en GitHub en github.com/guoyww/AnimateDiff.

Es un linaje distinto al de los modelos de video nativos más recientes como Wan 2.2, LTX-2 o HunyuanVideo, entrenados desde cero con datos de video — consulta Generación de video IA local vs. la nube para esa comparación. El valor específico de AnimateDiff es la preservación del estilo: como reutiliza tu checkpoint existente en lugar de un modelo de video entrenado por separado, la salida mantiene exactamente el personaje, estilo artístico o LoRA en el que ya confías para imágenes fijas.

Una publicación separada y destilada — AnimateDiff-Lightning (Lin y Yang, ByteDance, «Cross-Model Diffusion Distillation», arXiv:2403.12706) — cambia algo de calidad por velocidad, generando en tan solo 1, 2, 4 u 8 pasos de difusión en lugar de los 20-50 habituales, mediante destilación de difusión adversarial progresiva.

El módulo de movimiento es un conjunto separado de pesos entrenados que se inserta en la U-Net de Stable Diffusion junto a las capas existentes del checkpoint, sin modificar ese checkpoint. Durante la generación, las capas de atención temporal del módulo de movimiento coordinan lo que de otro modo sería un lote de generaciones de imágenes fijas independientes en una secuencia coherente de fotogramas.

Existen tres versiones del módulo de movimiento para SD1.5: mm_sd_v15_v2.ckpt (unos 1,7 GB) y el más reciente v3_sd15_mm.ckpt (unos 1,56 GB), que mejora la amplitud del movimiento y añade compatibilidad con motion LoRAs. Un módulo de movimiento SDXL separado, mm_sdxl_v10_beta.ckpt (unos 950 MB), apunta a la familia más grande de checkpoints SDXL a través de una rama beta.

Como el módulo de movimiento es un componente conectable en lugar de un ajuste fino de tu checkpoint, cualquier checkpoint SD1.5 compatible y la mayoría de los LoRA SD1.5 que ya tengas instalados pueden animarse directamente, sin descargar una versión «de video» separada de ese modelo — la contrapartida es que el módulo de movimiento en sí, no tu checkpoint, decide cuánto movimiento puede expresar la salida.

La mayor parte del uso de AnimateDiff en 2026 pasa por una de dos integraciones comunitarias, ya que el repositorio base es más una base de código de investigación que una app pulida. ComfyUI-AnimateDiff-Evolved es la opción con desarrollo más activo; la extensión de AUTOMATIC1111 cubre a los lectores ya estandarizados en esa WebUI.

Los workflows de AnimateDiff basados en SD1.5 suelen funcionar con 8-12 GB de VRAM para texto a video básico en resolución moderada (aproximadamente 512x512, la ventana nativa de 16 fotogramas del módulo); el soporte de SDXL necesita bastante más.

El repositorio oficial indica que la inferencia SDXL «normalmente requiere ~13 GB de VRAM», dependiendo del checkpoint personalizado y la configuración de generación usada. Los reportes de la comunidad para workflows SD1.5 varían según la resolución, el número de fotogramas y si se añade ControlNet — espera el extremo inferior del rango 8-12 GB para un clip corto con la configuración por defecto, y el extremo superior (o más, hacia 16 GB+) al añadir mayor resolución, más fotogramas, o múltiples ControlNets en un pipeline de video a video. Son rangos comunitarios reportados con cautela, no un único benchmark verificado, ya que el uso real de VRAM depende mucho del workflow específico.

Guía práctica: una tarjeta de 8 GB es un punto de partida viable para experimentar con texto a video SD1.5 en configuración por defecto; una tarjeta de 12 GB da margen cómodo para workflows SD1.5 con ControlNet; una tarjeta de 16 GB (por ejemplo, una RTX 4070 Ti Super) es el mínimo más cómodo al pasar a AnimateDiff basado en SDXL o pipelines de video a video más pesados. Los lectores cuya GPU quede por debajo de estos niveles, o que no tengan GPU local, deberían comparar alquilar — ver Guía de alquiler de GPU en la nube 2026 — frente a comprar, en la Mejor guía de compra de GPU para LLM locales 2026 (la misma orientación por nivel de VRAM aplica a AnimateDiff igual que a otras cargas de trabajo de IA generativa local).

**Los motion LoRAs son pesos adicionales pequeños (unos 77 MB) que orientan a AnimateDiff hacia un movimiento de cámara específico — zoom in, zoom out, paneo izquierda, paneo derecha, inclinación arriba, inclinación abajo, giro horario o antihorario — compatibles con el módulo de movimiento mm_sd_v15_v2.** Funcionan igual que los LoRA de imagen: se carga uno junto al módulo de movimiento para sesgar la salida hacia ese movimiento, sin cambiar el estilo visual del checkpoint.

Las limitaciones más citadas, extraídas del propio registro de incidencias del proyecto y de reseñas de la comunidad, se agrupan en tres áreas:

El código de AnimateDiff en sí se publica bajo licencia Apache 2.0, pero el propio README del proyecto indica que la publicación es para uso académico — por lo que afirmar «totalmente libre para uso comercial» no es exacto sin verificarlo. Esto es exactamente el tipo de afirmación exagerada que hay que evitar: Apache 2.0 normalmente permite el uso comercial del código, pero el marco académico añadido por los autores significa que los lectores que planeen vender o distribuir comercialmente la salida deberían leer directamente los términos de licencia actuales del repositorio en lugar de confiar solo en la etiqueta Apache 2.0.

Una segunda capa de licencia, separada, se aplica al checkpoint de Stable Diffusion que animes. El checkpoint original de Stable Diffusion 1.5 (y muchos ajustes finos comunitarios derivados de él) se distribuye bajo la licencia CreativeML OpenRAIL-M, que permite el uso comercial pero conlleva sus propias restricciones basadas en el uso (por ejemplo, prohibiciones de generar ciertas categorías de contenido dañino) — separadas de la licencia propia de AnimateDiff y no anuladas por ella.

En la práctica: verifica ambas licencias antes de cualquier uso comercial — los términos de publicación de AnimateDiff en su repositorio, y la licencia adjunta al checkpoint específico que animes (términos OpenRAIL-M para el checkpoint SD1.5 original, o la licencia que especifique un ajuste fino comunitario concreto, ya que los ajustes finos pueden tener términos distintos al modelo base). Esto no es asesoría legal; consulta el texto de licencia vigente o a un profesional del derecho antes de un despliegue comercial.

AnimateDiff se gana su lugar como la forma más directa de animar un checkpoint de Stable Diffusion que ya te gusta, sin reentrenar nada ni salir de tu propio hardware. La contrapartida es real y concreta: los clips son cortos por defecto (16 fotogramas, unos 2 segundos, ampliables pero con pérdida de calidad en duraciones mayores), el rango de movimiento y el seguimiento del prompt se degradan algo frente a una imagen fija del mismo checkpoint, y el panorama de licencias requiere dos verificaciones separadas — el marco de uso académico propio del proyecto además de su código Apache 2.0, y la licencia que lleve el checkpoint que animes — antes de cualquier uso comercial. Para lectores que ya tienen un checkpoint SD1.5 o SDXL estilizado y quieren bucles de movimiento cortos y consistentes en estilo en su propia GPU sin costo recurrente, AnimateDiff a través de ComfyUI-AnimateDiff-Evolved o la extensión de AUTOMATIC1111 es el punto de partida práctico. Los lectores que necesiten video más largo, coherente o fotorrealista deberían compararlo en su lugar con modelos de video nativos más nuevos en Generación de video IA local vs. la nube.