Das beste Tool zum Benchmarking von Tokens/Sek. bei lokalen LLMs?

Lesen auf:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Diese Seite enthält Verweislinks zu Produkten von Drittanbietern. PromptQuorum ist an keinem Partnerprogramm beteiligt — es sind reine Referenzlinks, die keine Provision erzielen. Das Anklicken von Links und Ihre nächsten Schritte liegen in Ihrer eigenen Verantwortung. Diese Links stellen keine Billigung oder Verifizierung durch PromptQuorum dar.

Schnelle Antwort

llama-bench, im Lieferumfang von llama.cpp enthalten, ist das beste Tool zum Benchmarking der Inferenzgeschwindigkeit lokaler LLMs. Es meldet Prompt-Verarbeitung und Generierungsgeschwindigkeit getrennt bei fester Kontextlänge und Quantisierungsstufe, wodurch Ergebnisse über unterschiedliche Hardware hinweg vergleichbar werden.

▸llama-bench: die gründlichste Option — trennt Prompt-Verarbeitungsgeschwindigkeit von Generierungsgeschwindigkeit und kontrolliert Kontextlänge und Quantisierung.
▸Ollama --verbose: der schnellste Weg zu einer groben Tokens/Sek.-Zahl aus einer normalen Chat-Sitzung, weniger kontrolliert als llama-bench.
▸Drittanbieter-GUIs (die eingebauten Statistiken von LM Studio) sind praktisch für einen schnellen Überblick, bieten aber nicht dieselbe Kontrolle über Wiederholungsläufe.

Aktualisiert: 14. Juli 2026

Tool ComparisonsFortgeschritten

Wichtigste Punkte

✓llama-bench ist das gründlichste Benchmarking-Tool — es trennt Prompt-Verarbeitungsgeschwindigkeit von Generierungsgeschwindigkeit unter festen Einstellungen
✓Die --verbose-Option von Ollama liefert eine schnelle, grobe Tokens/Sek.-Schätzung aus einem normalen Chat-Lauf, nützlich für schnelle Checks
✓Kontextlänge und Quantisierungsstufe zwischen Läufen immer konstant halten, sonst ist der Vergleich bedeutungslos
✓Mehrere Durchläufe ausführen und das Ergebnis mitteln — ein einzelner Lauf wird durch thermisches Throttling und Kaltstart-Ladezeit beeinflusst

Beste Wahl: llama-bench

llama-bench ist die richtige Standardwahl für alle, die eine wiederholbare, hardwarevergleichbare Tokens-pro-Sekunde-Zahl benötigen. Es ist Teil des llama.cpp-Builds, läuft über die Kommandozeile und meldet für jeden Test zwei getrennte Werte: Prompt-Verarbeitungsgeschwindigkeit (wie schnell das Modell die Eingabe liest) und Generierungsgeschwindigkeit (wie schnell es neue Tokens erzeugt). Diese beiden Werte verhalten sich unter Last sehr unterschiedlich, weshalb ein Tool, das sie vermischt, kein vollständiges Bild liefert.

Die `--verbose`-Option von Ollama ist die praktische Alternative für einen schnellen Plausibilitätscheck. Der Befehl `ollama run --verbose` gibt am Ende einer normalen Chat-Antwort einen Tokens/Sek.-Wert aus, ohne dass ein separater Benchmark-Rahmen nötig ist. Das ist praktisch, aber der Wert stammt aus einer einzelnen, unkontrollierten Generierung — nicht aus einem wiederholten Lauf mit festem Kontext — und ist daher verrauschter und weniger geeignet, um zwei unterschiedliche Hardware-Konfigurationen zu vergleichen.

LM Studio und andere Desktop-Frontends zeigen in ihrer Chat-Oberfläche eine ähnliche Live-Anzeige der Tokens/Sek. Nutzen Sie das für einen schnellen Blick, während Sie das Tool ohnehin verwenden, aber verlassen Sie sich nicht darauf für eine Hardware-Kaufentscheidung — es bietet keine Kontrolle über Laufanzahl oder Kontextlänge, die ein Benchmark-Ergebnis vertrauenswürdig machen.

Worauf bei einem Benchmarking-Tool zu achten ist

Ein vertrauenswürdiges Benchmarking-Tool für lokale LLMs hält Kontextlänge, Quantisierungsstufe und Prompt-Inhalt zwischen Läufen konstant und meldet Prompt-Verarbeitungsgeschwindigkeit und Token-Generierungsgeschwindigkeit als getrennte Werte. Ohne diese Kontrollen sagt eine „Tokens/Sek."-Zahl aus einem einzelnen Lauf fast nichts darüber aus, wie dasselbe Setup bei einem längeren Prompt oder einer anderen Quantisierung abschneiden wird.

Nutzen Sie ein Benchmarking-Tool, wenn Sie GPUs vor einem Kauf vergleichen, bewerten, ob eine Quantisierungsstufe den Qualitätsverlust wert ist, oder Leistungswerte öffentlich berichten. Verzichten Sie auf den formalen Benchmark und schauen Sie einfach auf den Live-Tokens/Sek.-Zähler, wenn Sie nur ein grobes Gefühl dafür brauchen, ob ein Modell für den Chat nutzbar ist.

Vermeiden Sie: Einzellauf-Werte, die ohne Angabe von Kontextlänge oder Quantisierungsstufe berichtet werden — sie lassen sich mit nichts vergleichen. Vermeiden Sie: Tools, die nur eine kombinierte Tokens/Sek.-Zahl melden, da Prompt-Verarbeitung und Generierungsgeschwindigkeit sich mit Kontextlänge und Hardware unterschiedlich skalieren.

Hardware für Ihren Benchmark

Wenn Sie mit dem Ziel benchmarken, eine Upgrade-Entscheidung zu treffen, führen Sie denselben llama-bench-Befehl auf Ihrer vorhandenen GPU und auf der Kandidaten-GPU mit derselben Modelldatei und Quantisierung aus und vergleichen Sie dann die beiden Werte für Prompt-Verarbeitung und Generierung nebeneinander.

Hinweis: Dieser Artikel enthält Affiliate-Links. Wir erhalten möglicherweise eine Provision, wenn Sie über diese Links einkaufen — ohne Mehrkosten für Sie.

Preise für 16GB-VRAM-GPUs bei Amazon prüfenProduktlink · offengelegtPreis des Strommessgeräts bei Amazon prüfen (nützlich für Tokens/Sek.-pro-Watt-Vergleiche)Produktlink · offengelegt

Häufig gestellte Fragen

Warum variieren Benchmark-Ergebnisse zwischen den Läufen?▾

Thermisches Throttling, Hintergrundprozesse und Kaltstart-Ladezeiten des Modells beeinflussen alle Einzellaufergebnisse. Mitteln Sie mehrere Läufe (llama-bench unterstützt wiederholte Läufe nativ) für eine verlässliche Zahl, statt einer einzelnen Stichprobe zu vertrauen.

Funktioniert llama-bench nur mit GGUF-Modellen?▾

Ja — llama-bench ist Teil der llama.cpp-Toolchain, die um das GGUF-Format herum aufgebaut ist. Um ein GPTQ- oder AWQ-Modell zu benchmarken, benötigen Sie ein anderes Tool, das an das Serving-Framework gebunden ist, das dieses Format lädt, etwa die eingebauten Benchmarking-Skripte von vLLM.

Ist die Prompt-Verarbeitungsgeschwindigkeit oder die Generierungsgeschwindigkeit wichtiger?▾

Das hängt vom Anwendungsfall ab. Die Zusammenfassung langer Dokumente wird von der Prompt-Verarbeitungsgeschwindigkeit dominiert, da der Großteil der Arbeit im Lesen der Eingabe besteht. Interaktiver Chat wird von der Generierungsgeschwindigkeit dominiert, da das Modell die meiste Ausgabe Token für Token nach einem kurzen Prompt erzeugt.

Kann ich online gefundene Tokens/Sek.-Werte mit meiner eigenen Hardware vergleichen?▾

Nur, wenn Kontextlänge, Quantisierungsstufe und Modellgröße exakt übereinstimmen. Eine Tokens/Sek.-Zahl ohne diese Angaben ist mit Ihrem Setup nicht vergleichbar — behandeln Sie nicht zugeordnete Zahlen aus Foren oder sozialen Medien als grobe Anekdoten, nicht als Benchmarks.

Verwandte Prompt Bites

← Zurück zu Prompt-Häppchen