AnimateDiff 2026: Stable-Diffusion-Modelle animieren, Kosten & VRAM

AnimateDiff ist ein Motion-Modul, kein eigenständiges Video-Generierungsmodell. Es dockt an einen bereits vorhandenen Stable-Diffusion-1.5- oder SDXL-Checkpoint an — einschließlich Community-Fine-Tunes und LoRAs — und fügt zeitliche Kohärenz zwischen den Frames hinzu, sodass dieses Modell kurze animierte Clips in seinem bestehenden visuellen Stil erzeugt, ohne den Checkpoint selbst neu zu trainieren.

Das Projekt ist die offizielle Implementierung des Papers Guo et al., „AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning", ICLR 2024 Spotlight, arXiv:2307.04725, gepflegt auf GitHub unter github.com/guoyww/AnimateDiff.

Das ist eine andere Abstammungslinie als bei neueren, nativ trainierten Video-Modellen wie Wan 2.2, LTX-2 oder HunyuanVideo, die von Grund auf auf Videodaten trainiert wurden — siehe Lokale KI-Videogenerierung vs. Cloud für diesen Vergleich. Der spezifische Wert von AnimateDiff liegt in der Stilerhaltung: Da es einen vorhandenen Checkpoint statt eines separat trainierten Video-Modells wiederverwendet, behält die Ausgabe genau die Figur, den Kunststil oder das LoRA, auf das Sie bereits bei Einzelbildern setzen.

Eine separate, destillierte Veröffentlichung — AnimateDiff-Lightning (Lin & Yang, ByteDance, „Cross-Model Diffusion Distillation", arXiv:2403.12706) — tauscht etwas Qualität gegen Geschwindigkeit und generiert in nur 1, 2, 4 oder 8 Diffusionsschritten statt der üblichen 20-50, mittels progressiver adversarieller Diffusions-Destillation.

Das Motion-Modul ist ein separater Satz trainierter Gewichte, der neben den vorhandenen Layern des Checkpoints in das Stable-Diffusion-U-Net eingefügt wird, ohne diesen Checkpoint zu verändern. Während der Generierung koordinieren die zeitlichen Attention-Layer des Motion-Moduls, was sonst eine Reihe unabhängiger Einzelbild-Generierungen wäre, zu einer kohärenten Bildfolge.

Für SD1.5 existieren drei Motion-Modul-Versionen: mm_sd_v15_v2.ckpt (ca. 1,7 GB) und das neuere v3_sd15_mm.ckpt (ca. 1,56 GB), das die Bewegungsamplitude verbessert und Motion-LoRA-Kompatibilität hinzufügt. Ein separates SDXL-Motion-Modul, mm_sdxl_v10_beta.ckpt (ca. 950 MB), zielt über einen Beta-Branch auf die größere SDXL-Checkpoint-Familie.

Da das Motion-Modul eine Drop-in-Komponente und kein Fine-Tune Ihres Checkpoints ist, lässt sich jeder kompatible SD1.5-Checkpoint und die meisten bereits installierten SD1.5-LoRAs direkt animieren, ohne eine separate „Video"-Version dieses Modells herunterzuladen — der Kompromiss ist, dass das Motion-Modul selbst, nicht Ihr Checkpoint, bestimmt, wie viel Bewegung die Ausgabe ausdrücken kann.

Die meiste AnimateDiff-Nutzung 2026 läuft über eine von zwei Community-Integrationen, da das Basis-Repository eher eine Forschungs-Codebasis als eine fertige App ist. ComfyUI-AnimateDiff-Evolved ist die aktiver entwickelte Option; die AUTOMATIC1111-Erweiterung deckt Leser ab, die bereits auf diese WebUI setzen.

SD1.5-basierte AnimateDiff-Workflows laufen für einfaches Text-zu-Video bei moderater Auflösung (etwa 512x512, das native 16-Frame-Fenster des Moduls) üblicherweise mit 8-12 GB VRAM; SDXL-Unterstützung braucht deutlich mehr.

Das offizielle Repository gibt an, dass SDXL-Inferenz „üblicherweise ~13 GB VRAM" benötigt, abhängig vom personalisierten Checkpoint und den Generierungseinstellungen. Community-Berichte für SD1.5-Workflows variieren je nach Auflösung, Frame-Anzahl und ob ControlNet eingebunden ist — rechnen Sie mit dem unteren Ende der 8-12-GB-Spanne bei einem kurzen Clip mit Standardeinstellungen und mit dem oberen Ende (oder darüber, Richtung 16 GB+), sobald höhere Auflösung, mehr Frames oder mehrere ControlNets in einer Video-zu-Video-Pipeline hinzukommen. Dies sind vorsichtig formulierte, community-berichtete Spannen statt eines einzelnen verifizierten Benchmarks, da der tatsächliche VRAM-Bedarf stark vom konkreten Workflow abhängt.

Praktische Richtwerte: Eine 8-GB-Karte ist ein brauchbarer Einstieg für SD1.5-Text-zu-Video-Experimente mit Standardeinstellungen; eine 12-GB-Karte bietet komfortablen Spielraum für SD1.5-Workflows mit ControlNet; eine 16-GB-Karte (z. B. eine RTX 4070 Ti Super) ist das komfortablere Minimum, sobald Sie zu SDXL-basiertem AnimateDiff oder schwereren Video-zu-Video-Pipelines wechseln. Leser, deren GPU unter diesen Stufen liegt oder die keine lokale GPU besitzen, sollten Miete — siehe Cloud-GPU-Miete-Guide 2026 — gegen Kauf abwägen, im Besten GPU-Kaufratgeber für lokale LLMs 2026 (dieselbe VRAM-Stufen-Richtlinie gilt für AnimateDiff wie für andere lokale generative KI-Workloads).

**Motion-LoRAs sind kleine (rund 77 MB) Zusatzgewichte, die AnimateDiff auf eine bestimmte Kamerabewegung ausrichten — Zoom rein, Zoom raus, Schwenk links, Schwenk rechts, Neigung hoch, Neigung runter, Rollen im Uhrzeigersinn oder gegen den Uhrzeigersinn —, kompatibel mit dem Motion-Modul mm_sd_v15_v2.** Sie funktionieren genauso wie Bild-LoRAs: Man lädt eines neben dem Motion-Modul, um die Ausgabe zu dieser Bewegung hin zu verzerren, ohne den visuellen Stil des Checkpoints zu ändern.

Die am häufigsten genannten Einschränkungen, entnommen aus dem projekteigenen Issue-Tracker und Community-Berichten, gruppieren sich um drei Bereiche:

Der AnimateDiff-Code selbst steht unter Apache-2.0-Lizenz, aber das projekteigene README nennt den Release für akademischen Gebrauch — „vollständig frei für kommerzielle Nutzung" ist daher ohne weitere Prüfung keine korrekte Aussage. Genau diese Art von Überinterpretation gilt es zu vermeiden: Apache 2.0 erlaubt normalerweise kommerzielle Nutzung des Codes, aber die zusätzliche akademische Rahmung der Autoren bedeutet, dass Leser, die Ausgaben verkaufen oder kommerziell verbreiten wollen, die aktuellen Lizenzbedingungen im Repository direkt lesen sollten, statt sich allein auf das Apache-2.0-Label zu verlassen.

Eine zweite, separate Lizenzebene betrifft den jeweils animierten Stable-Diffusion-Checkpoint. Der ursprüngliche Stable-Diffusion-1.5-Checkpoint (und viele davon abgeleitete Community-Fine-Tunes) wird unter der CreativeML-OpenRAIL-M-Lizenz vertrieben, die kommerzielle Nutzung erlaubt, aber eigene nutzungsbasierte Einschränkungen mitbringt (etwa Verbote, bestimmte Kategorien schädlicher Inhalte zu erzeugen) — getrennt von AnimateDiffs eigener Lizenzierung und nicht durch diese aufgehoben.

In der Praxis: Prüfen Sie vor jeder kommerziellen Nutzung beide Lizenzen — die AnimateDiff-Release-Bedingungen im Repository und die Lizenz des konkret animierten Checkpoints (OpenRAIL-M-Bedingungen für den ursprünglichen SD1.5-Checkpoint, oder welche Lizenz ein bestimmtes Community-Fine-Tune angibt, da Fine-Tunes andere Bedingungen als das Basismodell tragen können). Dies ist keine Rechtsberatung; konsultieren Sie vor kommerziellem Einsatz den aktuellen Lizenztext oder eine Rechtsperson.

AnimateDiff verdient seinen Platz als direktester Weg, einen bereits geschätzten Stable-Diffusion-Checkpoint zu animieren, ohne irgendetwas neu zu trainieren oder die eigene Hardware zu verlassen. Der Kompromiss ist real und konkret: Clips sind standardmäßig kurz (16 Frames, rund 2 Sekunden, erweiterbar, aber mit Qualitätsverlust bei größerer Länge), Bewegungsspielraum und Prompt-Treue verschlechtern sich etwas gegenüber einem Einzelbild desselben Checkpoints, und die Lizenzlage erfordert zwei separate Prüfungen — die eigene akademische Rahmung des Projekts zusätzlich zu seinem Apache-2.0-Code, und welche Lizenz der animierte Checkpoint trägt — vor jeder kommerziellen Nutzung. Für Leser, die bereits einen stilisierten SD1.5- oder SDXL-Checkpoint besitzen und kurze, stilkonsistente Bewegungsloops auf der eigenen GPU ohne laufende Kosten möchten, ist AnimateDiff über ComfyUI-AnimateDiff-Evolved oder die AUTOMATIC1111-Erweiterung der praktische Einstiegspunkt. Leser, die längeres, kohärenteres oder fotorealistisches Video brauchen, sollten es stattdessen mit neueren nativen Video-Modellen in Lokale KI-Videogenerierung vs. Cloud vergleichen.