重要なポイント
- 3世代が存在する:Idefics(2023年)、Idefics2(2024年4月)、Idefics3(2024年8月)——それぞれ別個のモデルであり、単純なアップグレードではない。
- Idefics3は今日ほとんどのタスクに対する現在の推奨;Idefics2に比べOCRと文書理解を大幅に改善している。
- 世代によってライセンスの性質が異なる:オリジナルのIdeficsは研究専用の制限を持つ;Idefics2は完全にApache-2.0(Mistral-7Bベース);Idefics3はApache-2.0のリポジトリタグに加えてLlama 3.1コミュニティライセンスの条件を伴う(Llama-3.1-8B-Instructベース)。
- VRAM:Idefics2/3はfloat16で約18〜20GB、または積極的な量子化で6〜7GB——LLaVA 7BやMiniCPM-Vより重い。
- 本レビュー時点でOllamaのライブラリにはパッケージ化されていない;GGUF変換の困難さを追跡するGitHubの未解決issueが存在する。
- 最も適した用途:十分なGPUメモリがある文書中心のOCRと複数画像の推論タスクであり、リソースの限られた環境やリアルタイム用途のローカルセットアップではない。
📍 一文で説明
IdeficsはHuggingFace M4によるDeepMindのFlamingoのオープン再現であり、現在は第3世代(Idefics3、8B、2024年8月)に達し、3つのバージョンでライセンスとVRAM要件が大きく異なり、現時点ではOllamaのモデルライブラリにパッケージ化されていない。
💬 簡潔に説明
IdeficsはHuggingFaceが作った、画像を見てそれについての質問に答えられるAIモデルのファミリーで、LLaVAに似ている——本レビューでは3つのバージョンのうちどれを実際に使うべきか、GPUメモリのコスト、そして不足している点を説明する。
📌補足: PromptQuorumはこれらの事実を、idefics-80b、idefics2-8b、Idefics3-8B-Llama3のHuggingFaceモデルカード、およびOllamaのライブラリとGitHubのissueトラッカーに照らして直接確認した——正確なリンクは出典セクションを参照。
歴史:HuggingFace M4とFlamingoの再現
**オリジナルのIdeficsのモデルカードには、「DeepMindが開発したクローズドソースのビジョン言語モデルであるFlamingoのオープンアクセス再現」であると明確に記載されている。** これは2023年にHuggingFaceのM4チームによって、9Bと80Bという2つのサイズで公開され、ビジョンエンコーダーとLLaMA(1)言語モデルベースを組み合わせたものだ。
オリジナルのIdeficsは単一の寛容なライセンスではなく、混合ライセンスを伴う。 そのビジョンエンコーダーと新たに学習された接続パラメータはMITの下で公開されているが、LLaMA(1)言語モデルベースは、LLaMAに対するMetaのオリジナルの研究専用・非商用ライセンスの遵守を要求する。これにより、スタックの一部にMITタグが付いているにもかかわらず、オリジナルのIdeficsはほとんどの場合商用利用には適さない。
2024年4月頃にリリースされたIdefics2(8B)は、LLaMA(1)ベースをMistral-7B-v0.1に置き換え、SigLIPビジョンエンコーダーと組み合わせた。両方のベースモデルがApache-2.0であるため、Idefics2自身のモデルカードには、モデル全体がApache-2.0であると記載されている——これによりオリジナルのIdeficsのライセンス問題が解決された。HuggingFace自身の説明によれば、Idefics2はIdefics-80Bとほぼ同等の性能を約10分の1のサイズで達成し、OCRと文書理解が大幅に向上している。
2024年8月22日にリリースされたIdefics3(8B)は、SigLIPビジョンエンコーダーを維持しつつ、言語ベースをMeta-Llama-3.1-8B-Instructに切り替えた。そのモデルカードには、特に文書理解、OCR、視覚的推論においてIdefics2を大幅に上回ることが示されている。Hugging Face Transformersのバージョン4.46で追加された。
IdeficsはDeepMindのFlamingoの再現なのか?
はい。オリジナルのIdeficsのモデルカードには、「DeepMindが開発したクローズドソースのビジョン言語モデルであるFlamingoのオープンアクセス再現」であると明確に記載されている。Idefics2とIdefics3は、同じ系譜の上で独立してアーキテクチャ設計された、HuggingFace M4によるその後の世代である。
Idefics vs Idefics2 vs Idefics3:実際に何が変わったか
3世代は異なるベースアーキテクチャを持つ別個のモデルであり、段階的にバージョンが上がる単一モデルではない。以下は、各モデル自身のHuggingFaceカードに照らして確認した実際の相違点だ。
Idefics(9B/80B)
- リリース:
- 2023年
- ベース:
- LLaMA(1) + 独自ビジョンエンコーダー
- 備考:
- LLaMA(1)由来の研究専用ライセンス制限;大部分が過去のものとなっている
Idefics2(8B)
- リリース:
- 2024年4月
- ベース:
- Mistral-7B-v0.1 + SigLIP
- 備考:
- 完全にApache-2.0;10分の1のサイズでIdefics-80Bに匹敵
Idefics3(8B)
- リリース:
- 2024年8月22日
- ベース:
- Llama-3.1-8B-Instruct + SigLIP
- 備考:
- 3つの中で最良のOCR/文書理解;Llama 3.1のライセンス条件が適用される
PromptQuorumは本レビュー時点で、公式に確認された「Idefics4」を発見できなかった。Idefics3が最新世代であり、ほとんどのタスクに対する現在の推奨である。
ライセンスの注意点:単純なApache-2.0ではない
PromptQuorumのディレクトリ掲載では、Ideficsのライセンスを「Apache 2.0」としている——これはモデルリポジトリとコードについては正確だが、実務上のライセンス状況としては不完全であり、LLaVAのApache-2.0コードライセンスがすべてのベースモデルチェックポイントに自動的に適用されるわけではないのと似ている。
Idefics2は最も明快なケースだ。 Mistral-7B-v0.1という言語ベースとSigLIPビジョンエンコーダーの両方がApache-2.0であるため、モデルスタック全体が追加条件なしで真にApache-2.0である。
Idefics3はより注意が必要だ。 HuggingFaceの自身のリポジトリはApache-2.0とタグ付けされているが、言語ベースであるMeta-Llama-3.1-8B-InstructはMetaのLlama 3.1コミュニティライセンスの下で公開されている——これには許容利用ポリシーと、下流製品が月間アクティブユーザー7億人を超える場合にMetaから別途ライセンスを取得する必要があるという条項が含まれる。Idefics3を大規模に商用展開する者は、Idefics3リポジトリのApache-2.0タグだけでなく、MetaのLlama 3.1のライセンス条項自体を直接読むべきだ。
オリジナルのIdeficsが最も制限的だ。 そのLLaMA(1)ベースはMetaのオリジナルの研究専用・非商用ライセンスを伴い、これにより9B/80Bのフルモデルの商用利用は、良くて法的に不明確、悪ければ利用不可となる——ビジョンエンコーダーと接続部の重みが別途MITライセンスであるにもかかわらずだ。
Ideficsは商用利用が無料か?
世代によって異なる。Idefics2は追加制限なく完全にApache-2.0だ。Idefics3自身のリポジトリはApache-2.0だが、Llama-3.1-8B-InstructベースはMetaのLlama 3.1コミュニティライセンスの条件を伴い、月間アクティブユーザー7億人を超える場合は別途ライセンスが必要となる。オリジナルのIdeficsは、LLaMA(1)ベースからの研究専用・非商用の制限を伴う。
実際の使用例:Transformersライブラリ
Idefics3はHugging Face TransformersのAutoModelForVision2SeqとAutoProcessorクラスを通じて使用され、TransformersのIdefics3モデルドキュメントに文書化されている。Transformersバージョン4.46以降が必要だ。
- 今日、OllamaやllamaC.cppの経路は存在しない。 IdeficsはTransformers(またはText Generation Inferenceのような互換推論サーバー)を通じて動作し、GGUFベースのランナーは通じない。
- 画像解像度パラメータを下げるとGPUメモリ使用量を減らせる。 Idefics2/3のモデルカードには、処理する画像サブパッチの数を減らすこと(Idefics3のドキュメントでは
Nと呼ばれる)が、精度と引き換えにVRAMを減らす方法として文書化されている。
# transformers >= 4.46 が必要(Hugging FaceのIdefics3モデルドキュメントによる)
# pip install transformers pillow torch
from transformers import AutoProcessor, AutoModelForVision2Seq
from PIL import Image
import torch
model_id = "HuggingFaceM4/Idefics3-8B-Llama3"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForVision2Seq.from_pretrained(
model_id,
torch_dtype=torch.float16,
).to("cuda")
image = Image.open("photo.jpg")
messages = [
{
"role": "user",
"content": [
{"type": "image"},
{"type": "text", "text": "What is in this image?"},
],
},
]
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image], return_tensors="pt").to("cuda")
generated_ids = model.generate(**inputs, max_new_tokens=200)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text[0])VRAMとハードウェア要件
Idefics2とIdefics3は、主に画像解像度の処理方法により、同程度のサイズのLLaVAやMiniCPM-Vのチェックポイントより明確に重い。以下の数値はIdefics2自身のモデルカードから直接得たもので、そのVRAM範囲が明示的に文書化されている。Idefics3(同じ8Bパラメータ数と同じビジョンエンコーダー)も同様と予想されるが、PromptQuorumはIdefics3固有の同程度に詳細なVRAM表は見つけられなかった。
構成 | 概算VRAM | 備考 |
|---|---|---|
| float16 + flash-attention | 約18〜20GB | Idefics2のモデルカードで標準構成として文書化 |
| 最適化なし | ピーク時約55GBまで | Idefics2のモデルカードにおける最適化なし推論の上限 |
| 積極的な量子化 | 約6〜7GB | Idefics2のモデルカードで文書化された下限;精度とのトレードオフを想定 |
| LLaVA 7B(比較用) | 約6〜8GB | PromptQuorumのLLaVAレビューを参照 |
📌補足: PromptQuorumは本記事のために独自のハードウェアベンチマークを行っていない。これらの数値はIdefics2の公開モデルカードから引用したものだ。Ideficsは同程度の性能帯においてLLaVA 7BやMiniCPM-Vより実際に重い——リソースの限られた展開のために選ぶ前に、利用可能なVRAMについて自分自身に正直になってほしい。
Ideficsが向いていない用途
Idefics3は有能なオープンビジョン言語モデルだが、以下の状況には向いていない。
- リソースの限られたローカル環境。 標準のfloat16構成で約18〜20GBのVRAMを要するIdefics2/3は、LLaVA 7B(約6〜8GB)やMiniCPM-V(約5.5GB)より明確に多くのGPUメモリを必要とする。ハードウェア予算が8GB以下のVRAMを持つ単一のコンシューマーGPUであれば、積極的な量子化と精度低下の許容なしにIdeficsは現実的な選択肢ではない。
- リアルタイムまたは低遅延のアプリケーション。 入力ごとに複数の画像サブパッチを処理する8Bパラメータのビジョン言語モデルは、最速の応答時間のために作られたものではない。レイテンシが優先事項なら、Moondream(1.8B)のような小型モデルの方が、能力は落ちるがより高速に応答する。
- OllamaやllamaC.cppにそのまま組み込むワークフロー。 Ideficsは現時点でOllamaのライブラリにパッケージ化されておらず、GGUF変換にはOllama自身のGitHubで追跡されている未解決の互換性問題がある。ワークフローが特にOllamaに依存している場合は、今日実際にpull可能なモデルについてPromptQuorumのOllamaビジョンモデルガイドを参照してほしい。
- バージョン間で単一の統一されたライセンスを想定すること。 「Idefics」を単一のライセンスを持つ単一の製品として扱うのは誤りだ——どの世代を展開しているかを確認し、特にIdefics3の大規模利用時のLlama 3.1コミュニティライセンスの義務について、そのモデル固有のライセンス条項を読んでほしい。
代替ツールと競合
LLaVA
- 最適な用途:
- OllamaやllamaC.cppのパッケージ化を含む、より幅広いツール対応;7Bでより軽いVRAMフットプリント
- ライセンス:
- Apache-2.0(コード);チェックポイントはベースモデル依存
Ollamaのビジョンモデル
- 最適な用途:
ollama pull/ollama runによる最も簡単なローカルセットアップ;本レビュー時点でIdeficsはその中に含まれない- ライセンス:
- モデルにより異なる
MLC Chat
- 最適な用途:
- プラットフォーム横断のオンデバイス展開;本レビュー時点では主にテキスト中心——依存する前に現在のビジョン対応状況を確認
- ライセンス:
- Apache-2.0
MLC Chatに関する記事（5件）
- MLC Chat Review (2026): The Mobile App Built on MLC LLM, Assessed Honestly更新日 2026年9月7日
- Best Local LLM Apps for iPhone in 2026 (Run AI Without WiFi)更新日 2026年9月1日
- Mobile Local LLMs 2026: iPhone 16 Pro, iPad M4 & Snapdragon X更新日 2026年8月28日
- Best Local LLM Apps for Android in 2026: 6 Apps Compared on Real Phones更新日 2026年8月24日
- Best Mobile LLM Models in 2026: Phi-4 Mini vs Gemma 3 vs SmolLM更新日 2026年7月14日
その他の言及:
クラウドVLM API(GPT-4o、Claude、Geminiビジョン)
- 最適な用途:
- 入手可能な中で最高のマルチモーダル性能、ローカルのハードウェアやセットアップ不要
- ライセンス:
- プロプライエタリ(有料API)
よくある質問
Ideficsとは何か?
IdeficsはHuggingFaceのM4チームが構築したオープンなビジョン言語モデルのファミリーであり、DeepMindのFlamingoの明確なオープン再現として設計された。3世代存在する:オリジナルのIdefics(2023年、9B/80B)、Idefics2(2024年4月、8B)、Idefics3(2024年8月、8B)。
Ideficsのどのバージョンを使うべきか——Idefics、Idefics2、Idefics3?
今日ほとんどのタスクにはIdefics3を。3つの中で最も強力なOCRと文書理解を持つ。純粋にApache-2.0でLlama由来の条件を含まないスタックが特に必要な場合はIdefics2が引き続き有効だ。オリジナルのIdeficsは大部分が過去のものとなっており、研究専用のライセンス制限を伴う。
Ideficsは完全にオープンソースで、商用利用は無料か?
世代によって異なる。Idefics2は完全にApache-2.0だ。Idefics3のリポジトリはApache-2.0とタグ付けされているが、Llama-3.1-8B-InstructベースはMetaのLlama 3.1コミュニティライセンスの条件を伴い、月間アクティブユーザー7億人を超える場合の義務も含む。オリジナルのIdeficsは、LLaMA(1)ベースからの研究専用・非商用の制限を持つ。
IdeficsにはどれくらいのVRAMが必要か?
Idefics2(そしておそらく同じ8Bパラメータ数と同じビジョンエンコーダーを持つIdefics3)は、Idefics2のモデルカードで文書化された標準のflash-attention付きfloat16構成で約18〜20GBのVRAMが必要、あるいは積極的な量子化と精度とのトレードオフを受け入れれば6〜7GB程度で済む。これはLLaVA 7BやMiniCPM-Vより明確に重い。
IdeficsをOllama経由で実行できるか?
本レビュー時点ではできない。Ideficsは現時点でOllamaのモデルライブラリにパッケージ化されておらず、GGUF変換にはOllama自身のGitHubリポジトリで追跡されている未解決の互換性問題がある。IdeficsはHugging Face Transformersを通じて動作する。
IdeficsはDeepMindのFlamingoに基づいているのか?
Ideficsは自身のモデルカードで明確に「DeepMindが開発したクローズドソースのビジョン言語モデルであるFlamingoのオープンアクセス再現」と説明されている。Idefics2とIdefics3は、同じHuggingFace M4チームによって独立してアーキテクチャ設計された後継である。
結論
Ideficsは本当に有用なオープンビジョン言語モデルのファミリーであり、特にIdefics3は約18〜20GBのVRAMフットプリントが許容できる場合、文書中心のOCRと複数画像の推論作業に十分対応できる。ただし、より軽量なローカルビジョンモデルの単純な代替ではない:LLaVA 7BやMiniCPM-Vより明確に多くのGPUメモリを必要とし、本レビュー時点でOllamaやllamaC.cppのパッケージ化がなく、そのライセンス状況は世代によって実際に異なる——Idefics2のクリーンなApache-2.0スタックは、Idefics3のLlama 3.1コミュニティライセンスの義務とは法的に別の話だ。GPUメモリに余裕があり、文書理解とOCR品質を求めるならIdefics3を選び、純粋なApache-2.0スタックが重要な場合は特にIdefics2を選び、より軽量なローカルハードウェアやOllamaベースのワークフローには、PromptQuorumのLLaVAレビュー経由でLLaVAを、またはOllamaビジョンモデルガイド内のいずれかのモデルを選んでほしい。
出典
- Idefics-80Bモデルカード — Flamingo再現の記述、ライセンス構造、モデルサイズ。
- Idefics2-8bモデルカード — ベースモデル、Apache-2.0ライセンス、文書化されたVRAM範囲。
- Idefics3-8B-Llama3モデルカード — ベースモデル、ライセンスタグ、リリース詳細。
- Idefics3 Transformersドキュメント — 使用例、Transformersの最小バージョン。
- Meta Llama 3.1コミュニティライセンス — Idefics3の言語ベースが継承するライセンス条項。
- Ollama GitHub issue #2183 および issue #3677 — Ideficsが現時点でOllamaのライブラリにパッケージ化されていないことを確認する未解決の機能リクエスト。