Skip to main content
PromptQuorum
Startseite/Lokale LLMs Pro/Langfuse Review: Open-Source-LLM-Observability und Evals
Overview & Reference

Langfuse Review: Open-Source-LLM-Observability und Evals

·11 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum, Multi-Model-AI-Dispatch-Tool · PromptQuorum

Langfuse ist eine kostenlose, quelloffene LLM-Engineering-Plattform zum Tracing, Evaluieren und Debuggen von KI-Anwendungen in Produktion, aufgebaut auf der analytischen Datenbank ClickHouse. Der Kern-Code steht unter der MIT-Lizenz, weshalb Self-Hosting über Docker Compose, Kubernetes/Helm oder Infrastructure-as-Code-Vorlagen für die Cloud nichts kostet; eine kleinere Gruppe von Enterprise-Edition-Funktionen (EE), die in mit ee/ präfixierten Verzeichnissen liegen, unterliegt einer separaten kommerziellen Lizenz, die in der Datei ee/LICENSE des Repositorys selbst definiert ist — deshalb weist GitHub die Gesamtlizenz als "Other" statt schlicht als MIT aus. Langfuse bietet zudem eine verwaltete Langfuse Cloud mit einer kostenlosen Hobby-Stufe sowie kostenpflichtigen Stufen ab 29 $/Monat an. Seit Januar 2026 gehört Langfuse laut dem Copyright-Header in der eigenen LICENSE-Datei des Repositorys zu ClickHouse.

Langfuse (langfuse.com, Quellcode auf github.com/langfuse/langfuse) beschreibt sich selbst als "open source agent evals & observability: trace, evaluate, and improve LLM applications with one open platform". Aufgebaut auf der analytischen Datenbank ClickHouse, verzeichnet das Projekt über 34.700 GitHub-Stars und gehört seit Januar 2026 selbst zu ClickHouse. Diese Review beschreibt, was Langfuse tatsächlich leistet, die Optionen für Self-Hosting vs. Cloud, die Lizenz (ein bekannter Verwirrungspunkt), die Preise und für wen sich das Tool eignet.

Wichtigste Erkenntnisse

  • Langfuse (langfuse.com) ist eine Open-Source-Plattform für LLM-Observability und -Evaluierung, aufgebaut auf der analytischen Datenbank ClickHouse
  • Der Kern-Code steht unter der MIT-Lizenz; eine kleinere Gruppe von Enterprise-Edition-Funktionen (EE) in mit ee/ präfixierten Verzeichnissen unterliegt einer separaten kommerziellen Lizenz, definiert in der eigenen ee/LICENSE des Repositorys — deshalb kennzeichnet GitHub die Gesamtlizenz als "Other" und nicht als reines MIT
  • Self-Hosting (Docker Compose, Kubernetes/Helm oder AWS/Azure/GCP-Infrastructure-as-Code-Vorlagen) ist unabhängig von jeder Cloud-Stufe kostenlos
  • Langfuse Cloud (die verwaltete Option) bietet eine kostenlose Hobby-Stufe sowie kostenpflichtige Stufen zu 29 $, 199 $ und 2.499 $ pro Monat
  • Über 34.700 GitHub-Stars und rund 3.794–3.800 Forks; nicht archiviert, mit neuen Releases in nahezu täglichem Takt
  • Seit Januar 2026 gehört Langfuse laut dem Copyright-Header in der eigenen LICENSE-Datei des Repositorys zu ClickHouse ("Copyright (c) 2023-2026 ClickHouse, Inc.")
  • Gegründet 2023 und durchlief Y Combinators Winter-2023-Batch (W23)

📍 In einem Satz

Langfuse ist eine Open-Source-LLM-Engineering-Plattform zum Tracing, Evaluieren und Debuggen von KI-Anwendungen, mit MIT-lizenziertem Kern-Code, einem kostenlosen Self-Hosting-Pfad und einer separaten verwalteten Langfuse Cloud mit Stufen von kostenlos bis 2.499 $/Monat; seit Januar 2026 gehört das Projekt zu ClickHouse.

💬 In einfachen Worten

Langfuse beobachtet, was Ihre KI-Anwendung tut — jeden Aufruf eines Modells, jede Kette von Schritten, jede Nutzersitzung —, damit Sie sehen können, was passiert ist, bewerten können, ob die Ausgabe gut war, und Prompt-Änderungen gegen echte Beispiele testen können. Sie können es kostenlos selbst betreiben oder es von Langfuse zu unterschiedlichen Preisen hosten lassen.

📌Hinweis: Diese Review ist der vertiefende Begleitartikel zu Langfuses Eintrag im Local LLM Software Directory — dort finden Sie auf einen Blick, wie Langfuse im Vergleich zu anderen lokalen KI-Tools abschneidet.

Was ist Langfuse?

Langfuse ist eine Open-Source-Plattform zum Tracing, Evaluieren und Debuggen von LLM-Anwendungen in Produktion, die im Hintergrund auf der analytischen Datenbank ClickHouse aufbaut. Die eigene GitHub-Beschreibung lautet: "Open source agent evals & observability: Trace, evaluate, and improve LLM applications with one open platform."

  • Produkttyp: eine LLM-Engineering-/Observability-Plattform, keine Inference-Engine und kein Modell — sie beobachtet und bewertet Aufrufe, die Ihre Anwendung an andere LLM-Anbieter richtet
  • Zugrundeliegende Datenbank: ClickHouse, die analytische Datenbank, zu der Langfuse mittlerweile organisatorisch selbst gehört
  • Repository erstellt: 18.05.2023; das Projekt durchlief Y Combinators Winter-2023-Batch (W23)
  • Eigentümerschaft: Seit Januar 2026 gehört Langfuse zu ClickHouse, Inc. — bestätigt durch den Copyright-Header in der eigenen LICENSE-Datei des GitHub-Repositorys ("Copyright (c) 2023-2026 ClickHouse, Inc.")
  • Größenordnung: über 34.700 GitHub-Stars und rund 3.794–3.800 Forks; nicht archiviert, mit Releases, die nahezu täglich erscheinen

Projektgeschichte

Langfuses GitHub-Repository wurde am 18.05.2023 erstellt, und das Projekt durchlief Y Combinators Winter-2023-Accelerator-Batch (W23). Seit Januar 2026 gehört Langfuse laut dem Copyright-Header in der eigenen LICENSE-Datei des Repositorys zu ClickHouse, Inc. Das Projekt veröffentlicht neue Releases in schnellem, nahezu täglichem Takt — beispielsweise erschien v4.38.0 am 17.09.2026 und v4.37.0 einen Tag zuvor, am 16.09.2026 — was auf eine tatsächlich aktive, kontinuierlich gepflegte Entwicklung hindeutet und nicht auf ein stockendes oder verlassenes Projekt. Ein detailliertes, datiertes Änderungsprotokoll Version für Version wurde für diese Review nicht unabhängig verifiziert, weshalb hier keine nummerierte Meilenstein-Liste präsentiert wird; die vollständige Historie finden Sie auf Langfuses eigener GitHub-Releases-Seite.

Was leistet Langfuse tatsächlich?

Langfuses Funktionsumfang konzentriert sich laut eigener Website und Dokumentation darauf, das Verhalten von LLM-Anwendungen in Produktion zu beobachten, zu bewerten und iterativ zu verbessern.

  • LLM-Anwendungs-Observability / Tracing — komplexe Logs, Ketten und Nutzersitzungen nachverfolgen und untersuchen, damit Sie genau sehen, was Ihre Anwendung bei einer bestimmten Anfrage getan hat
  • Prompt-Management — zentrale Versionskontrolle für Prompts mit Caching, sodass Sie Prompt-Texte iterieren können, ohne den Anwendungscode neu auszurollen
  • Evaluierungen — Bewertung per LLM-as-a-Judge, code-basierte Evaluatoren sowie das Sammeln von Endnutzer-Feedback, damit Ausgabequalität gemessen statt geschätzt werden kann
  • Datasets — Testdatensätze und Benchmarks für kontinuierliche Evaluierung beim Ändern von Prompts oder Modellen aufbauen
  • LLM Playground — ein Bereich in der Oberfläche zum interaktiven Testen und Iterieren von Prompts ohne separates Skript
  • API und SDKs — eine OpenAPI-spezifizierte API sowie offizielle Python- und JavaScript/TypeScript-SDKs
  • Framework-Integrationen — funktioniert mit der OpenAI-API, LangChain, LlamaIndex und weiteren Frameworks

Anwendungsbeispiele: Drei Wege, Langfuse zu nutzen

Dies sind konkrete Workflows, die auf Langfuses oben dokumentiertem Funktionsumfang aufbauen.

Langfuse-Preise

Self-Hosting von Langfuse ist unabhängig von den unten stehenden Cloud-Stufen kostenlos und quelloffen — diese Stufen gelten nur für das verwaltete Produkt Langfuse Cloud. Self-Hosten Sie mit Docker Compose lokal oder mit Kubernetes/Helm/Cloud-Infrastructure-as-Code-Vorlagen in Produktion, kostenlos, unter Nutzung des MIT-lizenzierten Kerns.

Self-hosted (beliebige Deployment-Methode)

Preis:
Kostenlos, quelloffen (MIT-Kern)
Wichtige Limits:
Keine von Langfuse vorgegebene Nutzungsobergrenze; einzige Beschränkung ist Ihre eigene Infrastruktur

Cloud Hobby

Preis:
0 $/Monat
Wichtige Limits:
50k Units/Monat inklusive, 30 Tage Datenaufbewahrung, 2 Nutzer, Community-Support

Cloud Core

Preis:
29 $/Monat
Wichtige Limits:
100k Units/Monat inklusive (8 $ je weitere 100k), 90 Tage Aufbewahrung, unbegrenzte Nutzer, In-App-Support

Cloud Pro

Preis:
199 $/Monat
Wichtige Limits:
100k Units/Monat inklusive (8 $ je weitere 100k), 3 Jahre Aufbewahrung, unbegrenzte Annotation-Queues, hohe Rate-Limits, SOC2/ISO-27001-Reports, HIPAA verfügbar

Cloud Enterprise

Preis:
2.499 $/Monat
Wichtige Limits:
Alles aus Pro plus Teams-Funktionen, individuelle Rate-Limits, Uptime- und Support-SLA, benannter Lead-Support-Engineer

Die obigen Zahlen sind Langfuses eigene, zum Zeitpunkt dieser Review veröffentlichte Cloud-Preise — prüfen Sie die aktuellen Stufen und Limits direkt auf langfuse.com/pricing, bevor Sie budgetieren, da sich Preisseiten ändern können.

Langfuse vs. Helicone

Helicone (helicone.ai) ist ein weiteres bekanntes Open-Source-Tool für LLM-Observability, und die beiden werden häufig verglichen. PromptQuorum hat noch keine eigene Helicone-Review veröffentlicht, daher basiert dieser Vergleich auf Heliconés eigener Website und nicht auf einem praktischen PromptQuorum-Test — prüfen Sie aktuelle Details direkt auf helicone.ai, bevor Sie sich entscheiden.

Self-Hosting-Modell

Langfuse:
Docker Compose, Kubernetes/Helm oder Cloud-IaC-Vorlagen
Helicone:
Bietet ebenfalls einen Self-Hosting-Pfad — aktuelle Einrichtungsschritte auf helicone.ai prüfen

Lizenz / Offenheit

Langfuse:
MIT-Kern, mit separater kommerzieller Lizenz für eine kleinere, mit ee/ präfixierte Funktionsgruppe
Helicone:
Ebenfalls Open Source — die genauen aktuellen Lizenzbedingungen auf helicone.ai prüfen, statt anzunehmen, dass sie mit denen von Langfuse übereinstimmen

Preismodell

Langfuse:
Kostenlos self-hosted; verwaltete Cloud von 0 $ (Hobby) bis 2.499 $/Monat (Enterprise)
Helicone:
Hat eine eigene, separate Preisstruktur — direkt auf helicone.ai/pricing prüfen

Evaluierungsfunktionen

Langfuse:
LLM-as-a-Judge, code-basierte Evaluatoren, Datasets, Sammlung von Nutzerfeedback
Helicone:
Bietet ebenfalls evaluierungsbezogene Werkzeuge — aktuellen Funktionsumfang auf helicone.ai prüfen

Hauptfokus

Langfuse:
Vollständige LLM-Engineering-Plattform: Tracing, Evals, Prompt-Management, Datasets, Playground
Helicone:
LLM-Observability und Gateway-artiges Request-Logging, gemäß eigener Positionierung

Diese Tabelle hält bei Helicone-spezifischen Details, die PromptQuorum nicht unabhängig verifiziert hat, bewusst vage — betrachten Sie die Langfuse-Spalte als die verifizierten Fakten dieser Review und die Helicone-Spalte als Ausgangspunkt für Ihren eigenen Vergleich auf helicone.ai.

Für wen eignet sich Langfuse?

Ob Langfuse passt, hängt davon ab, ob Sie LLM-Anwendungen in Produktion betreiben und Sichtbarkeit darüber brauchen, was diese tatsächlich tun, statt nur eine zu entwickeln oder zu prototypen.

Wettbewerber und Alternativen

Auf PromptQuorum gibt es noch keine eigene Review eines LLM-Observability-Tools, daher sind die untenstehenden Links angrenzende Reviews aus dem LLM-Produktions-Tooling und keine direkten Observability-Wettbewerber — nützlicher Kontext für Leser, die Langfuse im Rahmen ihres gesamten LLM-Stacks bewerten. Für direkte Observability-Wettbewerber lohnt sich eine eigene Recherche zu Helicone (siehe Vergleich oben), PromptLayer und Arize Phoenix auf deren jeweiligen Websites.

  • LiteLLM Review — ein LLM-Gateway/-Router, das zwischen Ihrer Anwendung und mehreren Modellanbietern sitzt; wird oft ergänzend zu einem Observability-Tool wie Langfuse eingesetzt, nicht anstelle davon.
  • LangChain Review — das Framework, das Langfuse über seinen Callback-Handler und seine SDKs am häufigsten instrumentiert.
  • Dify Review — eine breitere LLMOps-/Workflow-Builder-Plattform mit eigenen Tracing- und Evaluierungsfunktionen, für Leser, die eine All-in-one-Plattform gegen eine dedizierte Observability-Schicht abwägen.

Häufige Fehler bei der Bewertung von Langfuse

Die meiste Verwirrung um Langfuse entsteht durch die gemischte Lizenz, die Beziehung zu ClickHouse oder die Verwechslung mit einer Inference-Engine.

Häufig gestellte Fragen

Was ist Langfuse?

Langfuse (langfuse.com) ist eine Open-Source-LLM-Engineering-Plattform zum Tracing, Evaluieren und Debuggen von KI-Anwendungen in Produktion, aufgebaut auf der analytischen Datenbank ClickHouse. Die eigene GitHub-Beschreibung nennt es "open source agent evals & observability".

Ist Langfuse kostenlos?

Self-Hosting von Langfuse ist unabhängig von den Cloud-Preisstufen kostenlos und quelloffen (MIT-Kern). Langfuse Cloud, die verwaltete Hosting-Option, bietet ebenfalls eine kostenlose Hobby-Stufe sowie kostenpflichtige Stufen zu 29 $, 199 $ und 2.499 $ pro Monat.

Ist Langfuse Open Source? Welche Lizenz gilt genau?

Langfuses Kern-Code steht unter der MIT-Lizenz. Eine kleinere Gruppe von Enterprise-Edition-Funktionen (EE) in mit ee/ präfixierten Verzeichnissen unterliegt einer separaten kommerziellen Lizenz, die in der eigenen Datei ee/LICENSE des Repositorys definiert ist. Die Repository-Metadaten von GitHub weisen die Gesamtlizenz deshalb als "Other" statt als reines MIT aus — lesen Sie die Dateien LICENSE und ee/LICENSE selbst, wenn eine Lizenzentscheidung für Ihren Anwendungsfall relevant ist.

Wie hoste ich Langfuse selbst?

Laut eigener Dokumentation gehören zu den Self-Hosting-Optionen Docker Compose für lokale oder schnelle Setups (laut Dokumentation rund 5 Minuten Einrichtungszeit), ein Deployment auf einer einzelnen VM, Kubernetes über ein Helm-Chart sowie Infrastructure-as-Code-Vorlagen für AWS, Azure und GCP. Aktuelle Anweisungen finden Sie unter langfuse.com/docs.

Was kostet Langfuse Cloud?

Langfuse Cloud hat vier Stufen: Hobby (kostenlos, 50k Units/Monat, 30 Tage Aufbewahrung), Core (29 $/Monat, 100k Units/Monat inklusive), Pro (199 $/Monat, 3 Jahre Aufbewahrung, SOC2/ISO 27001/HIPAA verfügbar) und Enterprise (2.499 $/Monat, Uptime- und Support-SLA). Diese Preise gelten nur für das verwaltete Cloud-Produkt, nicht für Self-Hosting.

Wem gehört Langfuse jetzt, und wer pflegt es?

Seit Januar 2026 gehört Langfuse laut dem Copyright-Header in der eigenen LICENSE-Datei des GitHub-Repositorys zu ClickHouse, Inc. ("Copyright (c) 2023-2026 ClickHouse, Inc."). Langfuse wurde 2023 gegründet und durchlief Y Combinators Winter-2023-Batch (W23).

Was kann ich mit Langfuse tracen und evaluieren?

Langfuse verfolgt komplexe Logs, Ketten und Nutzersitzungen; unterstützt Bewertungen per LLM-as-a-Judge, code-basierte Evaluatoren und das Sammeln von Nutzerfeedback; bietet Datasets für kontinuierliche Evaluierung; und enthält laut eigener Dokumentation einen Playground in der Oberfläche zum Testen von Prompts.

Führt Langfuse selbst LLM-Inferenz aus?

Nein. Langfuse beobachtet, verfolgt und bewertet Aufrufe, die Ihre Anwendung an LLM-Anbieter wie OpenAI richtet — es führt selbst keine Modell-Inferenz aus. Deshalb führt die eigene Website Langfuses Engine-Typ als "external".

Mit welchen Frameworks integriert sich Langfuse?

Langfuse integriert sich laut eigener Dokumentation mit der OpenAI-API, LangChain, LlamaIndex und weiteren Frameworks, zusätzlich zu offiziellen Python- und JavaScript/TypeScript-SDKs sowie einer OpenAPI-spezifizierten API.

Wie schneidet Langfuse im Vergleich zu Helicone ab?

Beide sind Open-Source-Tools für LLM-Observability, die häufig verglichen werden. PromptQuorum hat noch keine eigene Helicone-Review veröffentlicht, prüfen Sie daher Heliconés aktuelle Angaben zu Self-Hosting, Lizenz, Preisen und Funktionsumfang direkt auf helicone.ai — die obige Vergleichstabelle zeigt, was diese Review speziell zu Langfuse verifizieren konnte.

Quellen

← Zurück zu Lokale LLMs Pro