Schnellübersicht
- Bestes Schlussfolgern: Llama 3.3 7B — 82 % MATH-Benchmark, 73 % HumanEval
- Beste Instruktionsbefolgung: Mistral Small — 92 % bei Instruktions-Benchmarks
- Beste Mehrsprachigkeit: Qwen2,5 7B — 27 Sprachen, darunter Chinesisch, Japanisch und Arabisch
- Benötigtes VRAM: 8 GB für alle drei Top-Modelle (Q4-Quantisierung)
- Geschwindigkeit: ~15 Tokens/Sek. auf RTX 3060 12 GB für alle drei
- Budget-Wahl: Phi 2,7B — 4 GB VRAM, 20 Tokens/Sek., nur Englisch
Wichtigste Erkenntnisse
- Llama 3.3 7B: Bestes Schlussfolgern. 82 % MATH, 73 % HumanEval. Offizielles Meta-Modell, breite Unterstützung.
- Mistral Small: Beste Instruktionsbefolgung mit 92 %. 16 Tokens/Sek. Hervorragend für kreatives Schreiben.
- Qwen2,5 7B: Beste Mehrsprachigkeit — 27 Sprachen, darunter Chinesisch, Arabisch und Russisch.
- Alle drei erreichen ~15 Tokens/Sek. auf RTX 3060 12 GB. Die Geschwindigkeit ist nahezu identisch — wählen Sie nach Fähigkeit.
- Schlussfolgern (Mathematik, Logik): Llama 3.3 (82 %) > Qwen2,5 (79 %) > Mistral (75 %).
- Kreatives Schreiben: Mistral > Llama 3.3 > Qwen2,5.
- Coding: Llama 3.3 > Qwen2,5 > Mistral.
Welches 7B-Modell hat die besten Leistungswerte?
| Kenngröße | Llama 3.3 7B | Mistral Small | Qwen3 7B | Phi 2.7B |
|---|---|---|---|---|
| Benötigtes VRAM | 8 GB | 8 GB | 8 GB | 4 GB |
| Tokens/Sek. (RTX 3060) | 15 | 16 | 15 | 20 |
| Schlussfolgern (MATH) | 82 % | 75 % | 79 % | 45 % |
| Code (HumanEval) | 73 % | 60 % | 64 % | 48 % |
| Instruktionsbefolgung | 85 % | 92 % | 84 % | 55 % |
| Mehrsprachigkeit | Gut | Begrenzt | Hervorragend | Nur Englisch |
| Lizenz | Offen (Meta) | Apache 2.0 | Offen (Alibaba) | MIT |
Wie schneiden Llama 3.3, Mistral und Qwen3 im Direktvergleich ab?
Llama 3.3 7B führt bei strukturiertem Schlussfolgern, Mistral Small bei kreativer Erzählausgabe und Qwen2,5 7B bei prägnanten mehrsprachigen Antworten.
Beispiel: Mathematikaufgabe „Ein Zug legt 100 km in 2 Stunden zurück. Wie hoch ist seine Geschwindigkeit?"
- Llama 3.3: „Geschwindigkeit = Strecke / Zeit = 100 km / 2 h = 50 km/h." Zeigt den Rechenweg — besser für Debugging.
- Mistral: „100 km in 2 Stunden ergibt 50 km/h." Prägnant und korrekt.
- Qwen2,5: „Der Zug legt 100 km in 2 Stunden zurück, also Geschwindigkeit = 50 km/h." Strukturiert und korrekt.
Alle drei liefern korrekte Antworten; Llama 3.3 zeigt Rechenschritte — nützlich für Coding und analytische Aufgaben.
Beispiel: Kreative Aufgabe „Schreiben Sie eine kurze Science-Fiction-Geschichte über KI."
- Mistral: Reiche, fesselnde Erzählung, 300+ Wörter. Am stärksten für kreative Texte.
- Llama 3.3: Gute Geschichte, etwas formellerer Ton. Besser für strukturierte Dokumente.
- Qwen2,5: Gute Geschichte, etwas kürzer. Konstante Qualität über Sprachen hinweg.
Welches 7B-Modell eignet sich am besten für Reasoning und Coding?
Llama 3.3 7B führt das 7B-Reasoning mit 82 % MATH an; Qwen2,5 7B erreicht 79 %, Mistral Small 75 %. Der Abstand von 9 Punkten zwischen Llama 3.3 und Mistral ist für Coding- und Mathematikaufgaben bedeutsam.
Alle drei 7B-Modelle haben im Vergleich zu Modellen ab 13B Schwierigkeiten mit mehrstufigem Reasoning — den Vergleich größerer Modelle finden Sie im Leitfaden für die besten lokalen LLMs für Coding.
Mistral Small ist bei Mathematik schwächer (75 %), jedoch hervorragend beim Befolgen komplexer mehrteiliger Anweisungen.
Qwen2,5 7B bietet eine ausgewogene Balance (~79 % Mathematik, 84 % Instruktionsbefolgung) — ein starkes Allround-Modell für gemischte Workloads.
Für Coding-Interviews und Code-Generierung: Llama 3.3 7B > Qwen2,5 > Mistral.
Für Chatbots und Assistenzanwendungen: Mistral > Llama 3.3 > Qwen2,5.
Welches 7B-Modell unterstützt die meisten Sprachen?
Qwen2,5 7B unterstützt 27 Sprachen — der klare mehrsprachige Anführer in der 7B-Klasse. Llama 3.3 7B verfügt über solide mehrsprachige Fähigkeiten; Mistral Small ist primär auf Englisch ausgerichtet.
- Qwen2,5 7B (Alibaba): 27 Sprachen, darunter Chinesisch (Mandarin/Kantonesisch), Japanisch, Koreanisch, Arabisch und Russisch. Trainiert auf 7 Billionen Tokens mit mehrsprachigem Schwerpunkt.
- Llama 3.3 7B (Meta): Gut für westeuropäische Sprachen. Schwächer bei CJK (Chinesisch/Japanisch/Koreanisch) im Vergleich zu Qwen2,5.
- Mistral Small: Primär Englisch. Akzeptables Französisch/Deutsch/Spanisch, aber ungeeignet für asiatische oder arabische Sprachaufgaben.
- Nur Englisch (für Mehrsprachigkeit vermeiden): Phi 2,7B, Stablelm 3B.
- Code-spezifische Variante: Qwen2,5-Coder 7B übertrifft allgemeine 7B-Modelle bei der Code-Vervollständigung. Siehe beste lokale LLMs für Coding.
- Domain-Fine-Tunes: Medizin? Verwenden Sie BioLlama. Recht? Verwenden Sie Legalbench-abgestimmte Varianten.
Was sind die besten Budget-Alternativen unter 4 GB VRAM?
Wenn Sie 8 GB VRAM haben, verwenden Sie ein 7B-Modell — steigen Sie nicht auf Phi 2,7B oder TinyLlama herab, es sei denn, 4 GB ist Ihre absolute Grenze.
Phi 2,7B (Microsoft): 4 GB VRAM, 20 Tokens/Sek. Überraschend leistungsfähig für 2,7B — 45 % MATH, 55 % Instruktionsbefolgung. Kompromisse: Nur Englisch, schwaches Schlussfolgern. Zu Quantisierungskompromissen siehe Q4 vs. Q8 Vergleich.
Stablelm 3B: Vermeiden. Schwaches Schlussfolgern und Instruktionsbefolgung (~50 %). Kein Vorteil gegenüber Phi 2,7B.
TinyLlama 1.1B: Extrem klein und schnell. Akzeptabel nur für einfache Klassifizierung oder Schlüsselwortextraktion.
Fazit: Wählen Sie immer ein 7B-Modell (Llama 3.3, Mistral oder Qwen2,5) gegenüber einem 2,7B-Modell, wenn 8 GB VRAM verfügbar sind. Der Qualitätsunterschied ist erheblich.
Regionale Besonderheiten
Europäische Nutzer (DSGVO): Der Betrieb von Llama 3.3 7B oder Mistral Small lokal bedeutet kein Daten-Egress — die Inferenz verbleibt auf Ihrem Gerät. Dies erfüllt DSGVO Art. 5 Abs. 1 lit. f zur Datenintegrität ohne Auftragsverarbeitungsverträge mit Anbietern.
DACH-Unternehmen (BSI-Grundschutz): Die BSI-Grundschutz-Kataloge (BSI-Standard 200-2) empfehlen lokale KI-Verarbeitung für sensible Geschäftsdaten in deutschen, österreichischen und schweizerischen Unternehmen. Alle drei Modelle (Llama 3.3, Mistral, Qwen2,5) können in BSI-konformen IT-Infrastrukturen ohne externe Datenübertragung eingesetzt werden.
Nutzer mit asiatischen Sprachbedürfnissen: Qwen2,5 7B ist die klare Wahl. Alibaba trainierte das Modell auf 7 Billionen Tokens in 27 Sprachen mit starker Leistung in Chinesisch, Japanisch und Koreanisch.
Unternehmenslizenzierung: Mistral Small verwendet Apache 2.0 — uneingeschränkte kommerzielle Nutzung. Llama 3.3 7B verwendet Metas Handelslizenz, die eine Vereinbarung für Deployments mit über 700 Millionen monatlich aktiven Nutzern erfordert.
Häufige Fehler bei der Auswahl eines 7B-Modells
- 1Alle 7B-Modelle als identisch betrachten — Llama 3.3 7B erreicht 82 % beim MATH-Benchmark vs. Mistral mit 75 %. Ein Abstand von 9 Punkten ist für Coding- und Reasoning-Aufgaben signifikant.
- 2Phi 2,7B als gleichwertig mit 7B behandeln — Phi 2,7B erreicht bei den meisten Benchmarks rund 60 % der Genauigkeit von 7B-Modellen. Es passt in 4 GB VRAM, aber der Qualitätskompromiss ist real.
- 3Q2-Quantisierung verwenden, um mehrere 7B-Modelle gleichzeitig zu betreiben — Q2 reduziert die Qualität um ~30 %. Besser ein 7B-Modell bei Q4 betreiben als zwei bei Q2.
Häufig gestellte Fragen
Welches 7B-Modell soll ich wählen?
Nutzen Sie Llama 3.3 7B für Coding, Mathematik und analytische Aufgaben — es erreicht 82 % beim MATH-Benchmark und 73 % bei HumanEval. Nutzen Sie Mistral Small für kreatives Schreiben, Chat und Instruktionsbefolgung — es erreicht 92 % bei Instruktions-Benchmarks. Nutzen Sie Qwen2,5 7B für mehrsprachige Unterstützung in Chinesisch, Japanisch, Deutsch oder Arabisch.
Ist Llama 3.3 7B besser als Llama 3.3 7B?
Ja. Llama 3.3 7B erzielt bei Reasoning- und Code-Benchmarks rund 15 % höhere Werte als Llama 3.3 7B. Llama 3.3 verwendet einen neuen 128K-Vokabular-Tokenizer, ein 8K-Kontextfenster und verbesserte Trainingsdaten. Llama 3.3 ist für neue Projekte veraltet — verwenden Sie Llama 3.3.
Kann ich zwei 7B-Modelle auf 16 GB VRAM ausführen?
Ja. Ollama unterstützt das sequenzielle Laden mehrerer Modelle. Mit 16 GB VRAM können Sie zwei 7B-Modelle bei Q4-Quantisierung ausführen, da jedes ~4,5 GB benötigt. Jedes Modell läuft unabhängig mit ~15 Tokens/Sek. — sie laufen nicht parallel.
Soll ich Llama 3.3 7B verwenden oder auf ein 13B-Modell upgraden?
Für Coding und Reasoning bietet ein Upgrade auf Llama 3.3 13B (oder Qwen2,5-Coder 14B) eine Verbesserung der Genauigkeit um 10–15 % und erfordert 16 GB VRAM. Für Chat und kreatives Schreiben ist Llama 3.3 7B oder Mistral Small mit 8 GB ausreichend — der Qualitätsunterschied ist für Konversationsaufgaben vernachlässigbar.
Welches 7B-Modell hat das längste Kontextfenster?
Stand April 2026 unterstützen Llama 3.3 7B, Mistral Small und Qwen2,5 7B alle 8K-Token-Kontextfenster in Standard-Q4-Builds. Für längere Kontexte (32K+) benötigen Sie größere Modelle — Qwen2,5 72B unterstützt 128K Tokens, erfordert aber 40 GB+ VRAM.
Gibt es ein besseres 7B-Modell als Llama 3.3, Mistral und Qwen3?
Stand April 2026 sind diese drei die Frontier der 7B-Klasse. Jedes führt in einer anderen Kategorie: Llama 3.3 beim Schlussfolgern (82 % MATH), Mistral bei Instruktionsbefolgung (92 %), Qwen2,5 bei Mehrsprachigkeit (27 Sprachen). Spezialisierte Varianten wie Qwen2,5-Coder 7B übertreffen allgemeine Modelle bei Coding-Benchmarks.
Muss ich bei der Verwendung lokaler 7B-Modelle die DSGVO beachten?
Ja, aber lokale Inferenz vereinfacht die DSGVO-Compliance erheblich. Da die Verarbeitung ausschließlich auf Ihrem Gerät erfolgt, gibt es keinen Auftragsverarbeiter im Sinne von Art. 28 DSGVO — Sie benötigen keinen Datenverarbeitungsvertrag. Llama 3.3 7B, Mistral Small und Qwen2,5 7B sind Open-Source-Modelle ohne externe Telemetrie. Die BSI-Grundschutz-Kataloge empfehlen lokale Verarbeitung für personenbezogene Daten in sensiblen Umgebungen. Zusätzlich empfiehlt sich eine Dokumentation gemäß Art. 30 DSGVO (Verzeichnis der Verarbeitungstätigkeiten).
Sind 7B-Modelle wie Llama 3.3 für den deutschen Mittelstand geeignet?
Ja. Llama 3.3 7B (Meta-Lizenz, kommerzielle Nutzung erlaubt), Mistral Small (Apache 2.0, uneingeschränkte kommerzielle Nutzung) und Qwen2,5 7B (Alibaba-Lizenz, kommerziell nutzbar) sind für KMU im DACH-Raum geeignet. Typische Mittelstandsanwendungen: automatisierte Berichte, interner Wissenstransfer und Kundenkommunikation. Die BSI-Grundschutz-Kataloge (BSI-Standard 200-2) sehen lokale KI-Verarbeitung als IT-Grundschutzmaßnahme für sensible Geschäftsdaten an. Hardwareanforderung: RTX 3060 mit 12 GB VRAM oder Apple M-Chip mit 16 GB RAM.
Quellen
- Llama 3.3 Model Card — MATH-, HumanEval- und MTBench-Benchmarks (Meta AI, 2024)
- Mistral Small Technical Report — Bewertung der Instruktionsbefolgung und des Reasonings (Mistral AI, 2023)
- Qwen3 Dokumentation — Mehrsprachige Unterstützung und Benchmark-Ergebnisse (Alibaba Cloud, 2024)
- Open LLM Leaderboard — Live-Rankings von 7B-Modellen bei MATH, HumanEval und Instruktionsaufgaben (HuggingFace)