Idefics-Test (2026): HuggingFace's offene Vision-Language-Modelle, ehrlich bewertet

**Die Modellkarte des ursprünglichen Idefics besagt ausdrücklich, es handle sich um "eine offen zugängliche Nachbildung von Flamingo, einem von DeepMind entwickelten proprietären Vision-Language-Modell."** Es wurde 2023 vom HuggingFace-M4-Team in zwei Größen veröffentlicht, 9B und 80B Parameter, die einen Vision-Encoder mit einer LLaMA(1)-Sprachmodell-Basis kombinieren.

Das ursprüngliche Idefics trägt eine gemischte Lizenz, nicht eine einzige freizügige. Sein Vision-Encoder und die neu trainierten Verbindungsparameter werden unter MIT veröffentlicht, doch die LLaMA(1)-Sprachmodell-Basis erfordert die Einhaltung von Metas ursprünglicher, reiner Forschungslizenz für LLaMA ohne kommerzielle Nutzung. Dies macht das ursprüngliche Idefics in den meisten Fällen ungeeignet für kommerzielle Nutzung, unabhängig vom MIT-Tag auf Teilen des Stacks.

Idefics2 (8B), veröffentlicht um April 2024, ersetzte die LLaMA(1)-Basis durch Mistral-7B-v0.1 und kombinierte es mit einem SigLIP-Vision-Encoder. Da beide Basismodelle Apache-2.0 sind, besagt Idefics2s eigene Modellkarte, dass das gesamte Modell Apache-2.0 ist — was das Lizenzproblem des ursprünglichen Idefics löst. HuggingFace selbst schreibt Idefics2 zu, die Leistung von Idefics-80B bei etwa 10-mal kleinerer Größe zu erreichen, mit deutlich besserem OCR und Dokumentenverständnis.

Idefics3 (8B), veröffentlicht am 22. August 2024, behielt den SigLIP-Vision-Encoder bei, wechselte jedoch die Sprachbasis zu Meta-Llama-3.1-8B-Instruct. Seine eigene Modellkarte zeigt eine deutliche Verbesserung gegenüber Idefics2, insbesondere bei Dokumentenverständnis, OCR und visuellem Denken. Es wurde in Version 4.46 zu Hugging Face Transformers hinzugefügt.

Die drei Generationen sind eigenständige Modelle mit unterschiedlichen Basisarchitekturen — kein einzelnes Modell mit schrittweisen Versionserhöhungen. Hier ist, was sich tatsächlich unterscheidet, verifiziert anhand der jeweiligen HuggingFace-Karte jedes Modells.

PromptQuorums Verzeichniseintrag für Idefics kennzeichnet dessen Lizenz als "Apache 2.0" — das ist korrekt für das Modell-Repository und den Code, aber unvollständig für die praktische Lizenzsituation, ähnlich wie sich LLaVAs Apache-2.0-Codelizenz nicht automatisch auf jeden Basismodell-Checkpoint erstreckt.

Idefics2 ist der klarste Fall: Sowohl seine Mistral-7B-v0.1-Sprachbasis als auch sein SigLIP-Vision-Encoder sind Apache-2.0, sodass der gesamte Modell-Stack tatsächlich Apache-2.0 ist, ohne zusätzliche Bedingungen.

Idefics3 ist nuancierter. Sein eigenes HuggingFace-Repository ist als Apache-2.0 gekennzeichnet, doch seine Sprachbasis, Meta-Llama-3.1-8B-Instruct, wird unter Metas Llama-3.1-Community-Lizenz veröffentlicht — die eine Nutzungsrichtlinie und eine Klausel enthält, wonach ein separates Lizenzabkommen mit Meta erforderlich ist, falls ein nachgelagertes Produkt 700 Millionen monatliche aktive Nutzer überschreitet. Wer Idefics3 kommerziell in großem Maßstab einsetzt, sollte Metas Llama-3.1-Lizenzbedingungen direkt lesen, nicht nur das Apache-2.0-Tag im Idefics3-Repository.

Das ursprüngliche Idefics ist am restriktivsten. Seine LLaMA(1)-Basis trägt Metas ursprüngliche, reine Forschungslizenz ohne kommerzielle Nutzung, wodurch die kommerzielle Nutzung des vollständigen 9B/80B-Modells rechtlich bestenfalls unklar und schlimmstenfalls unzulässig ist — auch wenn Vision-Encoder und Verbindungsgewichte separat unter MIT lizenziert sind.

Idefics3 wird über die Klassen AutoModelForVision2Seq und AutoProcessor von Hugging Face Transformers verwendet, dokumentiert in Transformers' Idefics3-Modelldokumentation. Transformers-Version 4.46 oder höher ist erforderlich.

Idefics2 und Idefics3 sind deutlich schwerer als vergleichbar große LLaVA- oder MiniCPM-V-Checkpoints, größtenteils aufgrund der Art, wie sie die Bildauflösung verarbeiten. Diese Zahlen stammen direkt aus Idefics2s eigener Modellkarte, die seinen VRAM-Bereich ausdrücklich dokumentiert; für Idefics3 (gleiche 8B-Parameterzahl und Vision-Encoder) wird ein ähnlicher Wert erwartet, obwohl PromptQuorum keine ebenso detaillierte veröffentlichte VRAM-Tabelle speziell für Idefics3 fand.

Idefics3 ist ein leistungsfähiges offenes Vision-Language-Modell, aber die falsche Wahl für folgende Situationen:

Idefics ist eine tatsächlich nützliche Familie offener Vision-Language-Modelle, und Idefics3 hält sich speziell gut für dokumentenlastige OCR- und Multi-Bild-Denkaufgaben, bei denen sein VRAM-Bedarf von etwa 18-20 GB erschwinglich ist. Es ist jedoch kein direkter Ersatz für leichtere lokale Vision-Modelle: Es benötigt deutlich mehr GPU-Speicher als LLaVA 7B oder MiniCPM-V, hat zum Zeitpunkt dieses Tests keine Ollama- oder llama.cpp-Verpackung, und seine Lizenzsituation unterscheidet sich tatsächlich je nach Generation — Idefics2s sauberer Apache-2.0-Stack ist rechtlich etwas völlig anderes als Idefics3s Verpflichtungen aus der Llama-3.1-Community-Lizenz. Wählen Sie Idefics3 für Dokumentenverständnis und OCR-Qualität, wenn Sie den GPU-Speicher dafür haben; wählen Sie speziell Idefics2, wenn ein reiner Apache-2.0-Stack wichtig ist; und wählen Sie LLaVA, über PromptQuorums LLaVA-Test, oder eines der Modelle im Ollama-Vision-Modelle-Leitfaden, für leichtere lokale Hardware oder Ollama-basierte Workflows.