AnimateDiff 2026: anime qualquer modelo Stable Diffusion

O AnimateDiff é um módulo de movimento, não um modelo de geração de vídeo independente. Ele se conecta a um checkpoint do Stable Diffusion 1.5 ou SDXL que você já possui — incluindo fine-tunes e LoRAs da comunidade — e adiciona coerência temporal (quadro a quadro) para que esse modelo produza clipes animados curtos no seu estilo visual existente, sem retreinar o checkpoint em si.

O projeto é a implementação oficial do artigo Guo et al., "AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning", ICLR 2024 Spotlight, arXiv:2307.04725, mantido no GitHub em github.com/guoyww/AnimateDiff.

Trata-se de uma linhagem diferente dos modelos de vídeo nativos mais recentes, como Wan 2.2, LTX-2 ou HunyuanVideo, treinados do zero em dados de vídeo — veja Geração de vídeo IA local vs. nuvem para essa comparação. O valor específico do AnimateDiff é a preservação de estilo: como ele reutiliza seu checkpoint existente em vez de um modelo de vídeo treinado separadamente, a saída mantém exatamente o personagem, o estilo artístico ou o LoRA em que você já confia para imagens estáticas.

Um lançamento separado e destilado — o AnimateDiff-Lightning (Lin e Yang, ByteDance, "Cross-Model Diffusion Distillation", arXiv:2403.12706) — troca um pouco de qualidade por velocidade, gerando em apenas 1, 2, 4 ou 8 passos de difusão em vez dos 20-50 habituais, usando destilação de difusão adversarial progressiva.

O módulo de movimento é um conjunto separado de pesos treinados inserido na U-Net do Stable Diffusion ao lado das camadas existentes do checkpoint, sem modificar esse checkpoint. Durante a geração, as camadas de atenção temporal do módulo de movimento coordenam o que de outra forma seria um lote de gerações independentes de imagens estáticas em uma sequência coerente de quadros.

Existem três versões do módulo de movimento para SD1.5: mm_sd_v15_v2.ckpt (cerca de 1,7 GB) e a mais recente v3_sd15_mm.ckpt (cerca de 1,56 GB), que melhora a amplitude de movimento e adiciona compatibilidade com motion LoRAs. Um módulo de movimento SDXL separado, mm_sdxl_v10_beta.ckpt (cerca de 950 MB), tem como alvo a família maior de checkpoints SDXL por meio de um branch beta.

Como o módulo de movimento é um componente plugável, não um fine-tune do seu checkpoint, qualquer checkpoint SD1.5 compatível e a maioria dos LoRAs SD1.5 já instalados podem ser animados diretamente, sem baixar uma versão "de vídeo" separada desse modelo — a contrapartida é que o próprio módulo de movimento, não o seu checkpoint, determina quanto movimento a saída pode expressar.

A maior parte do uso do AnimateDiff em 2026 passa por uma de duas integrações da comunidade, já que o repositório base é mais uma base de código de pesquisa do que um app polido. O ComfyUI-AnimateDiff-Evolved é a opção mais ativamente desenvolvida; a extensão do AUTOMATIC1111 atende leitores já padronizados nessa WebUI.

Workflows do AnimateDiff baseados em SD1.5 costumam rodar com 8-12 GB de VRAM para texto-em-vídeo básico em resolução moderada (cerca de 512x512, a janela nativa de 16 quadros do módulo); o suporte a SDXL precisa de bem mais.

O repositório oficial informa que a inferência SDXL "normalmente requer ~13 GB de VRAM", dependendo do checkpoint personalizado e das configurações de geração usadas. Relatos da comunidade para workflows SD1.5 variam conforme a resolução, o número de quadros e se há ControlNet envolvido — espere a ponta inferior da faixa de 8-12 GB para um clipe curto com configurações padrão, e a ponta superior (ou além, rumo a 16 GB+) ao adicionar resolução maior, mais quadros, ou múltiplos ControlNets em um pipeline vídeo-para-vídeo. Essas são faixas relatadas com cautela pela comunidade, não um único benchmark verificado, já que o uso real de VRAM depende muito do workflow específico.

Orientação prática: uma placa de 8 GB é um ponto de partida viável para experimentação com texto-em-vídeo SD1.5 em configurações padrão; uma placa de 12 GB oferece folga confortável para workflows SD1.5 com ControlNet; uma placa de 16 GB (por exemplo, uma RTX 4070 Ti Super) é o mínimo mais confortável ao migrar para o AnimateDiff baseado em SDXL ou pipelines vídeo-para-vídeo mais pesados. Leitores cuja GPU fique abaixo desses níveis, ou que não tenham GPU local, devem comparar alugar — veja o Guia de aluguel de GPU em nuvem 2026 — com comprar, no Melhor guia de compra de GPU para LLMs locais 2026 (a mesma orientação por nível de VRAM se aplica ao AnimateDiff tanto quanto a outras cargas de trabalho locais de IA generativa).

**Motion LoRAs são pesos adicionais pequenos (cerca de 77 MB) que direcionam o AnimateDiff para um movimento de câmera específico — zoom in, zoom out, panorâmica esquerda, panorâmica direita, inclinação para cima, inclinação para baixo, rotação horária ou anti-horária — compatíveis com o módulo de movimento mm_sd_v15_v2.** Eles funcionam da mesma forma que LoRAs de imagem: você carrega um junto com o módulo de movimento para inclinar a saída em direção àquele movimento, sem mudar o estilo visual do checkpoint.

As limitações mais citadas, extraídas do próprio rastreador de issues do projeto e de análises da comunidade, se agrupam em três áreas:

O código do AnimateDiff em si é lançado sob licença Apache 2.0, mas o próprio README do projeto informa que o lançamento é para uso acadêmico — então afirmar "totalmente livre para uso comercial" não é preciso sem verificação adicional. Esse é exatamente o tipo de exagero a evitar: a Apache 2.0 normalmente permite o uso comercial do código, mas o enquadramento acadêmico adicionado pelos autores significa que leitores planejando vender ou distribuir comercialmente a saída devem ler diretamente os termos de licença atuais do repositório, em vez de confiar apenas no rótulo Apache 2.0.

Uma segunda camada de licença, separada, se aplica ao checkpoint do Stable Diffusion que você animar. O checkpoint original do Stable Diffusion 1.5 (e muitos fine-tunes da comunidade derivados dele) é distribuído sob a licença CreativeML OpenRAIL-M, que permite uso comercial mas carrega suas próprias restrições baseadas em uso (por exemplo, proibições de gerar certas categorias de conteúdo prejudicial) — separadas da própria licença do AnimateDiff e não anuladas por ela.

Na prática: verifique as duas licenças antes de qualquer uso comercial — os termos de lançamento do AnimateDiff em seu repositório, e a licença anexada ao checkpoint específico que você animar (termos OpenRAIL-M para o checkpoint SD1.5 original, ou qualquer licença especificada por um fine-tune específico da comunidade, já que fine-tunes podem carregar termos diferentes do modelo base). Isto não é aconselhamento jurídico; consulte o texto de licença atual ou um profissional jurídico antes de qualquer implantação comercial.

O AnimateDiff conquista seu lugar como a forma mais direta de animar um checkpoint do Stable Diffusion que você já gosta, sem retreinar nada nem sair do seu próprio hardware. A contrapartida é real e concreta: os clipes são curtos por padrão (16 quadros, cerca de 2 segundos, extensíveis mas com perda de qualidade em durações maiores), a faixa de movimento e a fidelidade ao prompt se degradam um pouco em relação a uma imagem estática do mesmo checkpoint, e o panorama de licenças exige duas verificações separadas — o enquadramento acadêmico próprio do projeto além do seu código Apache 2.0, e a licença que o checkpoint animado carrega — antes de qualquer uso comercial. Para leitores que já têm um checkpoint SD1.5 ou SDXL estilizado e querem loops de movimento curtos e consistentes em estilo na própria GPU sem custo recorrente, o AnimateDiff via ComfyUI-AnimateDiff-Evolved ou a extensão do AUTOMATIC1111 é o ponto de partida prático. Leitores que precisam de vídeo mais longo, coerente ou fotorrealista devem compará-lo com modelos de vídeo nativos mais recentes em Geração de vídeo IA local vs. nuvem em vez disso.