Skip to main content
PromptQuorum
ホーム/ローカルLLM活用/AnimateDiffでStable Diffusionを動画化:2026年ガイド
Image & Video Generation

AnimateDiffでStable Diffusionを動画化:2026年ガイド

·11分で読了·Hans Kuepper 著 · PromptQuorumの創設者、マルチモデルAIディスパッチツール · PromptQuorum

AnimateDiffは、すでにローカルでStable Diffusionを使っており、何も再学習せずに既存のチェックポイントやLoRAをアニメーション化したい読者に適しています。 これは完全な動画モデルではなく、無料でApache 2.0ライセンスのモーションモジュールであり、コミュニティが保守するComfyUI-AnimateDiff-Evolvedノードや、AUTOMATIC1111のsd-webui-animatediff拡張機能を通じて使用し、コンシューマー向けGPUで短いクリップ(約2秒、16フレーム)を生成します。より長く、一貫性が高く、フォトリアルな動画が必要な読者は、ローカルAI動画生成 vs. クラウドで新しいネイティブ動画モデルと比較してください。ローカルGPUがない読者は、まずクラウドGPUレンタルをご覧ください。

AnimateDiff(github.com/guoyww/AnimateDiff)は、既存のStable Diffusionチェックポイントにアニメーション機能を追加するオープンソースのモーションモジュールで、ベースモデル自体の再学習は不要です。単体の動画モデルではなく、プラグイン型のコンポーネントとして機能します。すでに使用しているStable Diffusion 1.5またはSDXLのチェックポイントと組み合わせることで、モーションモジュールがフレーム間の時間的一貫性を付加し、そのモデルが静止画で生成するのと同じスタイル・キャラクター・アートディレクションを、そのまま短いアニメーションクリップとして出力します。ComfyUIまたはAUTOMATIC1111 WebUI経由で自分のGPU上で完全に無料で動作し、プロジェクトはApache 2.0ライセンスですが、商用利用を検討する前に知っておくべき注意点が1つあります(下記のライセンスの章で解説)。

このページには参考用の第三者製品へのリンクが含まれています。PromptQuorumはいかなるアフィリエイトプログラムにも参加しておらず、これらはコミッションを得ない単なる参照リンクです。リンクのクリックと次のステップはご自身の責任です。これらのリンクはPromptQuorumによる推奨や検証を表すものではありません。

AnimateDiffをGitHubで見る →製品リンク · 開示済みRTX 4070 Ti Super 16GBの価格をAmazonで確認製品リンク · 開示済み
AnimateDiffでStable Diffusionを動画化:2026年ガイド

重要なポイント

  • AnimateDiff(github.com/guoyww/AnimateDiff)は、Stable Diffusion 1.5とSDXLチェックポイント向けのプラグアンドプレイ型モーションモジュールで、ベースモデルのファインチューニングは不要。
  • ほぼ全て2つのコミュニティ統合を通じて使用される:ComfyUI-AnimateDiff-Evolved(Kosinkadink氏保守)とAUTOMATIC1111拡張のsd-webui-animatediff(continue-revolution氏保守)。
  • SD1.5ベースのAnimateDiffは基本的なテキスト動画生成で8-12GBのVRAMで動作するのが一般的。SDXL対応(mm_sdxl_v10_beta)は公式リポジトリによると約13GB以上必要。
  • モーションモジュールの標準出力は16フレームのクリップ(約2秒)——より長いクリップにはコミュニティのスライディングウィンドウ手法を使うが、ウィンドウの境界で多少の時間的一貫性が失われる。
  • 公式のモーションLoRAが8種類あり(ズームイン/アウト、左右パン、上下チルト、時計回り/反時計回りロール)、基本的なカメラワークを追加できる。各約77MB。
  • AnimateDiff-Lightning(ByteDance、arXiv:2403.12706)は別系統の蒸留版で、通常の20-50ステップの代わりに1、2、4、8ステップで生成でき、速度と引き換えに多少の品質を犠牲にする。
  • AnimateDiffのコードはApache 2.0だが、公式READMEは本リリースを学術用途向けと明記している——さらにアニメーション化するSD1.5チェックポイント自体も独自のライセンス(多くの場合CreativeML OpenRAIL-M)を持つため、両方を確認せずに「完全に商用利用無料」と主張するのは正確ではない。

📍 一文で説明

AnimateDiffは、既存のStable Diffusionチェックポイントを再学習なしでアニメーション化できる、無料でApache 2.0ライセンスのモーションモジュールで、ComfyUIまたはAUTOMATIC1111経由でローカル実行する。

💬 簡潔に説明

すでに使っているStable Diffusionモデルに取り付けるプラグインのようなものと考えてください——モデルはいつも通りのスタイルで描き続けますが、AnimateDiffがフレーム間の動きを加えることで、静止画の代わりに短いクリップが出力されます。

AnimateDiffとは何ですか?

AnimateDiffは単体の動画生成モデルではなく、モーションモジュールです。 すでに持っているStable Diffusion 1.5またはSDXLチェックポイント(コミュニティのファインチューンやLoRAを含む)に接続し、フレーム間の時間的一貫性を付加することで、そのモデルがチェックポイント自体を再学習することなく、既存のビジュアルスタイルのまま短いアニメーションクリップを生成できるようにします。

このプロジェクトは論文Guo et al., 「AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning」, ICLR 2024 Spotlight, arXiv:2307.04725の公式実装で、GitHub上のgithub.com/guoyww/AnimateDiffで保守されています。

これは、動画データからゼロから学習された、Wan 2.2、LTX-2、HunyuanVideoなどの新しいネイティブ動画生成モデルとは異なる系統です——その比較についてはローカルAI動画生成 vs. クラウドを参照してください。AnimateDiff特有の価値はスタイルの保持にあります:個別に学習された動画モデルではなく、すでに持っているチェックポイントを再利用するため、出力は静止画ですでに使っている特定のキャラクター、アートスタイル、LoRAをそのまま維持します。

別系統の蒸留版であるAnimateDiff-Lightning(Lin & Yang, ByteDance, 「Cross-Model Diffusion Distillation」, arXiv:2403.12706)は、段階的な敵対的拡散蒸留を用いて、通常の20-50ステップではなく最短1、2、4、8ステップで生成でき、速度と引き換えに多少の品質を犠牲にします。

モーションモジュールはどう機能しますか?

モーションモジュールは、チェックポイントの既存レイヤーと並んでStable DiffusionのU-Netに挿入される、別途学習された重みのセットであり、そのチェックポイント自体は変更しません。 生成中、モーションモジュールの時間的アテンションレイヤーが、本来なら独立した静止画生成のバッチになるはずのものを、一貫性のあるフレームシーケンスへと調整します。

SD1.5向けには3つのモーションモジュールが存在します:mm_sd_v15_v2.ckpt(約1.7GB)と、より新しいv3_sd15_mm.ckpt(約1.56GB)で、後者は動きの振幅を改善し、モーションLoRAとの互換性を追加しています。別のSDXL用モーションモジュールmm_sdxl_v10_beta.ckpt(約950MB)は、ベータブランチを通じてより大きなSDXLチェックポイント群を対象としています。

モーションモジュールはチェックポイントのファインチューンではなくドロップイン型のコンポーネントであるため、すでにインストール済みの互換性のあるSD1.5チェックポイントやほとんどのSD1.5 LoRAは、その「動画版」を別途ダウンロードすることなく直接アニメーション化できます——ただしトレードオフとして、出力がどれだけ動きを表現できるかは、チェックポイントではなくモーションモジュール自体が決定します。

AnimateDiffのセットアップ方法は?

2026年時点でのAnimateDiff利用の大半は、2つのコミュニティ統合のいずれかを経由しています。ベースリポジトリは洗練されたアプリではなく研究用コードベースだからです。 ComfyUI-AnimateDiff-Evolvedはより活発に開発されている選択肢であり、AUTOMATIC1111拡張はそのWebUIをすでに標準として使っている読者をカバーします。

  1. 1
    ComfyUIをまだ持っていなければインストールし、ComfyUI Managerを開いて「AnimateDiff Evolved」を検索(リポジトリ:Kosinkadink/ComfyUI-AnimateDiff-Evolved)——インストールして再起動する。
  2. 2
    モーションモジュールのチェックポイント(SD1.5用のv3_sd15_mm.ckpt、またはSDXL用のmm_sdxl_v10_beta.ckpt)をComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/フォルダにダウンロードする。
  3. 3
    ワークフローを読み込むか構築する:SD1.5またはSDXLチェックポイントローダーをAnimateDiff Loaderノードに接続し、標準のKSampler、そして単一画像保存ノードの代わりにvideo-combineまたはGIF出力ノードを追加する。
  4. 4
    フレーム数(モジュールのネイティブウィンドウは16)とフレームレートを設定し、静止画と同様にプロンプトを書いて生成をキューに入れる——解像度とフレーム数によっては、コンシューマー向けGPUで数分かかることを想定する。
  5. 5
    AUTOMATIC1111の場合は代わりに:Extensionsタブからcontinue-revolution/sd-webui-animatediffをインストールし、同じモーションモジュールを拡張機能のモデルフォルダにダウンロードした後、txt2imgタブ下でAnimateDiffパネルを有効化していつも通り生成する。

ComfyUI-AnimateDiff-Evolved

最適な用途:
ノードベースの制御、活発な開発、モーションLoRAとコンテキストウィンドウのオプション
セットアップ手順:
ComfyUI Manager経由でインストールまたはcustom_nodesにクローン、モーションモジュールのチェックポイントをダウンロード、テキスト動画ワークフローグラフを構築/読み込み

sd-webui-animatediff(AUTOMATIC1111)

最適な用途:
すでにAUTOMATIC1111 WebUIで静止画を作っており、慣れたインターフェースを使いたい読者
セットアップ手順:
WebUIのExtensionsタブ経由でインストール(またはextensions/にクローン)、モーションモジュールをダウンロード、txt2imgタブ下でAnimateDiffパネルを有効化

正確なフォルダパスやメニュー名はComfyUIや拡張機能のバージョンによって変わります——ノードが見つからないエラーのトラブルシューティングの前に、リンク先リポジトリのREADMEで最新のインストールパスを確認してください。各リポジトリのドキュメントに基づき2026-09-02時点で確認済み。

AnimateDiffにはどれくらいのVRAMが必要ですか?

SD1.5ベースのAnimateDiffワークフローは、中程度の解像度(モジュールのネイティブな16フレームウィンドウで約512x512)での基本的なテキスト動画生成であれば、8-12GBのVRAMで動作するのが一般的です。SDXL対応にはかなり多くが必要です。

公式リポジトリによると、SDXL推論は「通常約13GBのVRAM」を必要とし、これは使用するパーソナライズされたチェックポイントや生成設定によって異なります。SD1.5ワークフローに関するコミュニティの報告は、解像度、フレーム数、ControlNetを組み合わせるかどうかによってばらつきがあります——標準設定での短いクリップ1本であれば8-12GBの範囲の下限を、高解像度・多フレーム・video-to-videoパイプラインでの複数ControlNet併用であれば上限(あるいはそれ以上、16GB超)を想定してください。これらは単一の検証済みベンチマークではなく、実際のワークフローに大きく左右される、慎重に幅を持たせたコミュニティ報告値です。

実用的な目安:8GBカードは標準設定でのSD1.5テキスト動画生成の実験には十分な出発点であり、12GBカードはControlNetを併用するSD1.5ワークフローに快適な余裕を与え、16GBカード(例:RTX 4070 Ti Super)はSDXLベースのAnimateDiffやより重いvideo-to-videoパイプラインに移行する際のより快適な最低ラインです。GPUがこれらの水準に届かない、あるいはローカルGPUを持たない読者は、クラウドGPUレンタルガイド2026でのレンタルと、ローカルLLM向けベストGPU購入ガイド2026での購入を比較検討してください(同じVRAM水準のガイダンスが、他のローカル生成AIワークロードと同様にAnimateDiffにも当てはまります)。

モーションLoRAとは何ですか?AnimateDiffの限界は?

**モーションLoRAは、AnimateDiffを特定のカメラワーク——ズームイン、ズームアウト、左パン、右パン、上チルト、下チルト、時計回りロール、反時計回りロール——に誘導する小型(約77MB)の追加重みで、mm_sd_v15_v2モーションモジュールと互換性があります。** これらは画像用LoRAと同じ仕組みで動作し、モーションモジュールと並べて読み込むことで、チェックポイントのビジュアルスタイルを変えずに出力をその動きに寄せることができます。

プロジェクト自体のイシュートラッカーやコミュニティのレビューから最も頻繁に挙げられる限界は、大きく3つの領域に集約されます:

  • ネイティブなクリップの長さが短い。 モーションモジュールの学習済みウィンドウは16フレーム(8fpsで約2秒)です。コミュニティのスライディングウィンドウ手法(重なり合う16フレームウィンドウを処理して結果をブレンドする)は総尺を延ばしますが、各ウィンドウの境界で時間的一貫性が失われやすく、おおよそ30-60フレームを大きく超えると結果は信頼できなくなります。
  • 特に顔や細部でのちらつき。 時間的一貫性が最も崩れやすいのは、速い動き、低解像度での詳細な顔、複数の被写体がある複雑な背景です——これは例外的なケースではなく、既知で頻繁に議論される限界です。
  • 限定的な動きの範囲。 特にオリジナルのv1モーションモジュールでは、カメラや被写体の動きは劇的なアクションではなく、ゆっくりしたパンや小さな動きに傾く傾向があります。後続のモジュール(v2、v3)やモーションLoRAはこれを改善しますが、完全には解消しません。
  • 同じチェックポイントの静止画と比べたプロンプト追従性の低下。 モーションモジュールは各フレームを隣接フレームと整合させる必要があるため、単一の静止画としては正確にレンダリングされるプロンプトでも、16フレームにわたって時間的一貫性を強制すると、正確さが低下する場合があります。

トレードオフ:メリットと制限

無料でApache 2.0コード

実際の使用における意味:
サブスクリプションも生成ごとの費用もなく、コードベースは検証や改変のために公開されている。
制限・注意点:
公式リポジトリは学術用途向けのリリースと明記——無制限の商用権を前提とする前にライセンスの章を確認すること。

再学習が不要

実際の使用における意味:
すでに使っている互換性のあるSD1.5チェックポイントやLoRAを直接アニメーション化できる。
制限・注意点:
出力品質とスタイルの忠実度は、そのチェックポイントの静止画としての完成度に完全に依存する。

コンシューマー向けGPUで動作

実際の使用における意味:
SD1.5ワークフローは約8GBのVRAMから実用的で、クラウドアカウントは不要。
制限・注意点:
SDXL対応にはかなり多く(約13GB以上)必要で、重いControlNetやvideo-to-videoパイプラインではさらに要求が上がる。

カメラ制御用のモーションLoRA

実際の使用における意味:
8種類の公式LoRAが、何も再学習せずに基本的なズーム、パン、チルト、ロールの動きを提供する。
制限・注意点:
基本的なカメラワークのみをカバー——一部の商用ツールが提供するような、タイムスタンプごとの精密なカメラパス制御はない。

活発なコミュニティツール

実際の使用における意味:
ComfyUI-AnimateDiff-EvolvedとAUTOMATIC1111拡張は、どちらも活発に保守され、広く文書化されている。
制限・注意点:
公式のベースリポジトリ自体は研究用コードベースであり、洗練されたエンドユーザー向けアプリではない——実用的なワークフローはコミュニティの統合に依存している。

速度重視のAnimateDiff-Lightning

実際の使用における意味:
蒸留版は20-50ステップの代わりに1-8ステップで生成でき、生成時間を大幅に短縮する。
制限・注意点:
ステップ数の削減は、その速度と引き換えに多少の品質と細部を犠牲にする。

AnimateDiff vs. 代替ツール

AnimateDiff

アプローチ:
既存のSD1.5/SDXLチェックポイントにモーションモジュールを接続、再学習なし
最適な用途:
すでに持っているチェックポイントやLoRAを再利用したスタイル調・アニメ調の動きのループ
AnimateDiffと比べた主な限界:
AnimateDiffに関する記事(1件)

その他の言及:

Stable Video Diffusion(SVD)

アプローチ:
Stability AIによる個別学習の画像動画モデルで、Stable Diffusionのテキスト画像系列とは異なる系統
最適な用途:
チェックポイントからスタイルの一致するクリップを生成するのではなく、既存の1枚の画像を短い動きにアニメーション化する
AnimateDiffと比べた主な限界:
AnimateDiffのように特定のチェックポイントやLoRAの正確なビジュアルスタイルを保持しない——入力画像をアニメーション化するのであって、テキスト画像モデルの学習済みスタイルを利用するわけではない。

Deforum

アプローチ:
より古いキーフレーム・パラメータ補間技術——連続する拡散フレーム間に適用される2D/3Dカメラ変換
最適な用途:
カメラパス主導の「無限ズーム」風アニメーションや、緩やかなパラメータの変化
AnimateDiffと比べた主な限界:
学習済みの動きの事前知識がない——一貫性は訓練済みの時間的アテンションモジュールではなく、フレーム間のパラメータ補間に依存するため、被写体の動き(カメラの動きとは対照的に)ははるかに不自然になる。

商用クラウド動画モデル(Runway、Pika、Soraクラスのモデル)

リンク:
アプローチ:
サブスクリプションまたはクレジット制のクラウドホスト型独自動画生成
最適な用途:
より長く、忠実度が高く、時間的に一貫性のある動画、フォトリアルまたは映画的な出力
AnimateDiffと比べた主な限界:
継続的なサブスクリプション費用、ローカルでのプライバシーの欠如、そして特定のオープンソースチェックポイントの正確な学習スタイルを再利用する手段がないこと——より新しいローカル動画モデルとの完全なコストと品質の比較はローカルAI動画生成 vs. クラウドを参照。

この表はアプローチと適性を比較するものであり、点数付けのランキングではありません——各ツールは異なる課題を解決します。より長いクリップ長で商用クラウド動画とより直接的に競合する新しいネイティブ動画モデル(Wan 2.2、LTX-2、HunyuanVideo)については、このAnimateDiff中心のガイドではなく、上記でリンクした専用の比較記事を参照してください。

AnimateDiffは商用利用が無料ですか?

AnimateDiffのコード自体はApache 2.0ライセンスで公開されていますが、プロジェクト自体のREADMEには本リリースは学術用途向けと明記されているため、さらなる確認なしに「完全に商用利用無料」と主張するのは正確ではありません。 これはまさに避けるべき過大な主張の典型例です:Apache 2.0は通常コードの商用利用を許可しますが、著者ら自身が加えた学術用途という枠組みがあるため、出力を販売または商用配布する予定の読者は、Apache 2.0というラベルだけに頼らず、リポジトリの最新のライセンス条項を直接読むべきです。

2つ目の別のライセンス層は、アニメーション化に使うStable Diffusionチェックポイントに適用されます。オリジナルのStable Diffusion 1.5チェックポイント(およびそこから派生した多くのコミュニティファインチューン)はCreativeML OpenRAIL-Mライセンスの下で配布されており、商用利用は許可されているものの、独自の使用条件に基づく制限(例えば特定のカテゴリの有害コンテンツの生成禁止など)を伴います。これはAnimateDiff自体のライセンスとは別であり、それによって上書きされることもありません。

実務上:商用利用の前に両方のライセンスを確認してください——リポジトリ内のAnimateDiffのリリース条項と、アニメーション化する特定のチェックポイントに付随するライセンス(オリジナルのSD1.5チェックポイントであればOpenRAIL-M条項、特定のコミュニティファインチューンであればそのファインチューンが指定するライセンス、ファインチューンはベースモデルと異なる条項を持つ場合があるため)。これは法的助言ではありません。商用展開の前に、最新のライセンス条文または法律の専門家に相談してください。

AnimateDiffを使うべき人

  • 気に入っているStable Diffusionチェックポイントまたは LoRAをすでに持っている読者。 AnimateDiffの核心的な価値は、何も再学習せずに、まさにそのビジュアルスタイルを動きの中で再現できることです。
  • スタイル調、アニメ調、イラスト調の動きのループを求める読者。 この技術は、Stable Diffusionチェックポイントがすでに得意とする種類のコンテンツ——フォトリアルではなくアートスタイル——で最も安定した結果を出します。
  • ComfyUIまたはAUTOMATIC1111に慣れている読者。 セットアップはこれらのインターフェースのいずれかに慣れていることを前提としており、専用のスタンドアロンAnimateDiffアプリは存在しません。
  • 長編動画ではなく短いクリップ(数秒)を求める読者。 ネイティブな16フレームウィンドウは、物語的なシーケンスよりもループ、GIF、短いスタイル調クリップに向いています。
  • 継続コストゼロを望む、ミドルレンジのコンシューマー向けGPU(8GB以上のVRAM)を持つ読者。 ローカル生成にはサブスクリプションもクレジットもクラウドアカウントも不要です。

AnimateDiffを使うべきでない人

  • フォトリアルで長編、または精密なカメラ制御が必要な動画を求める読者。 Wan 2.2やLTX-2などのローカルネイティブ動画モデル、あるいはRunwayやPikaなどの商用モデルの方が、これらをより上手く処理します。ローカルAI動画生成 vs. クラウドを参照してください。
  • すでに気に入っているStable Diffusionチェックポイントを持たない読者。 アニメーション化する価値のある出発点がなければ、テキストプロンプトから直接生成するネイティブ動画モデルに対する優位性はほとんどありません。
  • ライセンス条文を読まずに確実な商用利用権を必要とする読者。 AnimateDiff自身のREADMEにある学術用途の枠組みに加え、別途のチェックポイントライセンスがあるため、これは注意義務なしの「商用利用無料」ツールではありません——上記のライセンスの明確化の章を参照してください。
  • ローカルGPUを持たない、または約8GB未満のVRAMのカードしかない読者。 SD1.5ベースのAnimateDiffは8GBから実用的ですが、それを下回る読者は代わりにクラウドGPUレンタルやクラウド動画サービスを検討すべきです。
  • ワンクリックアプリ体験を求める読者。 ComfyUIとAUTOMATIC1111はどちらも、ノードグラフや拡張機能の設定にある程度慣れていることを前提としています——洗練された一般消費者向け製品ではありません。

よくある質問

AnimateDiffとは何ですか?

AnimateDiffは、既存のStable Diffusion 1.5またはSDXLチェックポイントを、そのチェックポイント自体を再学習することなくアニメーション化できるオープンソースのモーションモジュールです。これはGuo et al., 「AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning」(ICLR 2024 Spotlight、arXiv:2307.04725)の公式実装で、github.com/guoyww/AnimateDiffでApache 2.0コードライセンスの下で保守されています。

AnimateDiffは無料ですか?

はい——コードは無料でダウンロードして実行でき、自分のハードウェアでのローカル生成にサブスクリプションは不要です。生成コストは、AnimateDiffへの料金ではなく、すでに所有している電気代とGPU時間です。

AnimateDiffは商用利用でも無料ですか?

自動的にはそうではありません。コードはApache 2.0ライセンスですが、プロジェクト自体のREADMEには本リリースが学術用途向けであると明記されており、アニメーション化するStable Diffusionチェックポイントも通常、独自の別ライセンス(SD1.5では多くの場合CreativeML OpenRAIL-M)を持ち、商用利用は許可されているものの独自のコンテンツ制限があります。商用展開の前に両方のライセンス条文を確認してください——これは法的助言ではありません。

ComfyUIでAnimateDiffをどうインストールしますか?

コミュニティが保守するComfyUI-AnimateDiff-Evolvedノード(github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved)をComfyUI Manager経由でインストールするか、custom_nodesフォルダにクローンし、その後モーションモジュールのチェックポイント(SD1.5用のv3_sd15_mm.ckpt、またはSDXL用のmm_sdxl_v10_beta.ckpt)をそのノードのmodelsフォルダにダウンロードしてから、テキスト動画ワークフローを構築してください。

AnimateDiffはAUTOMATIC1111で動作しますか?

はい、コミュニティが保守するsd-webui-animatediff拡張機能(github.com/continue-revolution/sd-webui-animatediff)経由で、WebUIのExtensionsタブからインストールできます。標準のtxt2imgタブ下にAnimateDiffパネルが追加されます。

AnimateDiffにはどれくらいのVRAMが必要ですか?

SD1.5ベースのAnimateDiffは、中程度の解像度とモジュールのネイティブな16フレームウィンドウでの基本的なテキスト動画生成であれば、8-12GBのVRAMで動作するのが一般的です。SDXL対応にはかなり多くが必要です——公式リポジトリによると、SDXL推論は使用するチェックポイントや設定によって通常約13GBのVRAMを必要とします。より高い解像度、より長いクリップ、ControlNetの重ね掛けは要求をさらに引き上げます。

AnimateDiffのクリップの長さはどれくらいですか?

モーションモジュールのネイティブな学習済みウィンドウは16フレーム——8fpsで約2秒です。コミュニティのスライディングウィンドウ手法は、重なり合う16フレームウィンドウを処理してブレンドすることで総尺を延ばせますが、各ウィンドウの境界で時間的一貫性が失われやすく、おおよそ30-60フレームを大きく超えると結果は信頼できなくなります。

モーションLoRAとは何ですか?

モーションLoRAは、mm_sd_v15_v2モーションモジュールと互換性のある小型(約77MB)の追加重みファイルで、生成を8つの基本的なカメラワークのいずれかに誘導します:ズームイン、ズームアウト、左パン、右パン、上チルト、下チルト、時計回りロール、反時計回りロールです。これらは、画像LoRAがチェックポイントと並んで読み込まれるのと同じように、モーションモジュールと並んで読み込まれます。

なぜAnimateDiffの出力がちらつくのですか?

ちらつき——特に顔や細部での——は、設定ミスではなく広く報告されている限界です。時間的一貫性が最も崩れやすいのは、速い動き、低解像度での詳細な顔、複数の被写体がある複雑な背景です。後続のモーションモジュール(v2、v3)やモーションLoRAはこれを軽減しますが、完全には解消しません。

AnimateDiff-Lightningとは何ですか?

AnimateDiff-Lightningは、ByteDance(Lin & Yang, 「AnimateDiff-Lightning: Cross-Model Diffusion Distillation」, arXiv:2403.12706)による別系統の蒸留版で、段階的な敵対的拡散蒸留を用いて、通常の20-50ステップの代わりに最短1、2、4、8ステップで生成します——大幅に高速ですが、多少の品質と細部を犠牲にします。

AnimateDiffはStable Video Diffusionとどう違いますか?

AnimateDiffは既存のStable Diffusionテキスト画像チェックポイントにモーションモジュールを接続し、そのチェックポイントの正確なビジュアルスタイルを保持します。Stable Video Diffusion(SVD)は、Stability AIによる別系統の個別学習画像動画モデルで、テキスト画像チェックポイントの学習済みスタイルを再利用するのではなく、与えられた入力画像をアニメーション化します。特定のチェックポイントやLoRAの見た目を保ちたいならAnimateDiffを、既存の特定の1枚の画像をアニメーション化したいならSVDを選んでください。

結論

AnimateDiffは、すでに気に入っているStable Diffusionチェックポイントを、何も再学習せず、自分のハードウェアから離れることもなくアニメーション化する最も直接的な方法として、その地位を確立しています。トレードオフは実在し具体的です:クリップはデフォルトで短く(16フレーム、約2秒、延長は可能だが長くなるほど品質が低下する)、動きの範囲とプロンプト追従性は同じチェックポイントの静止画と比べてやや低下し、商用利用の前にはライセンスの状況について2つの別々の確認——Apache 2.0コードに加えたプロジェクト自体の学術用途という枠組み、そしてアニメーション化するチェックポイントが持つライセンス——が必要です。すでにスタイル調のSD1.5またはSDXLチェックポイントを持ち、継続コストゼロで自分のGPU上で短いスタイル一致の動きのループを求める読者にとって、ComfyUI-AnimateDiff-EvolvedまたはAUTOMATIC1111拡張経由のAnimateDiffは実用的な出発点です。より長く、一貫性が高く、フォトリアルな動画が必要な読者は、代わりにローカルAI動画生成 vs. クラウドで新しいネイティブ動画モデルと比較すべきです。

出典

← ローカルLLM活用 に戻る