2026년 최고의 LLM 옵저버빌리티 도구: Langfuse, LangSmith, Helicone

구조적인 질문은 내 코드를 계측할 것인가, 앞에 프록시를 둘 것인가이며, 이것이 무엇을 볼 수 있는지를 결정합니다. 위에서부터 읽다가 자신에게 해당하는 첫 줄에서 멈추세요.

LLM 옵저버빌리티는 모델 호출의 트레이스(프롬프트, 응답, 지연 시간, 토큰 사용량, 비용)를 수집하고 저장해, 장애를 디버깅하고 품질 저하를 포착하며 프로덕션의 지출을 지켜볼 수 있게 하는 것입니다. 같은 입력이 다른 출력을 낼 수 있는 비결정적 동작으로 확장된, 평범한 애플리케이션 옵저버빌리티입니다. 여기서 "망가졌다"는 대개 "예외가 났다"가 아니라 "출력이 나빠졌다"를 뜻합니다.

이는 평가와는 다른 일입니다. 옵저버빌리티는 배포 이후 시스템이 무엇을 하는지 지켜보고, 평가는 어떤 변경을 내보내도 되는지 알려줍니다. 둘 다 하는 팀이 많고 이 도구들 중 몇몇은 양쪽을 다루지만, 묻는 질문이 다릅니다. 배포 이전의 절반은 최고의 LLM 평가 도구를 참고하세요.

네 도구는 기능을 정면으로 겨루기보다 스택의 서로 다른 지점을 최적화합니다. 가격은 2026년 8월 28일 각 사 요금 페이지에서 확인했고, 저장소 수치는 같은 날 GitHub API에서 가져왔습니다.

Langfuse가 기본 추천이 되는 이유는 연동 목록이 가장 길고, 자체 호스팅 코어가 실제로 무료이며, 마음이 바뀌었을 때 전환 비용이 가장 낮기 때문입니다. 동시에 유의할 점도 가장 많으므로, 결정 전에 알아두는 편이 좋습니다.

애플리케이션이 LangChain이나 LangGraph 위에 있다면 LangSmith는 아무 설정 없이 트레이싱합니다. 이 점에서는 견줄 상대가 없습니다. 그 생태계 밖으로 나가면 설득력이 상당히 약해집니다.

Helicone은 다른 셋과 구조가 다릅니다. SDK로 코드 안에 들어가는 대신, API 호출 앞에 프록시로 섭니다. 이 하나의 결정이 최대 장점과 핵심 한계를 함께 설명합니다.

PromptLayer는 다른 셋보다 범위가 좁은데, 이는 결함이 아니라 의도입니다. 프롬프트 버전 관리와 요청 로깅을 하며, 완전한 옵저버빌리티 플랫폼인 척하지 않습니다.

ClickHouse, Inc.는 2026년 1월 16일 Langfuse를 인수했으며, Dragoneer가 주도한 4억 달러 규모 시리즈 D와 함께 발표됐습니다. 인수는 당시 SiliconANGLE이 보도했고, ClickHouse 공식 블로그, Langfuse의 GitHub 논의, 그리고 이 거래를 자문한 로펌에서 확인할 수 있습니다.

가장 분명한 근거는 저장소 자체에 있습니다. LICENSE 파일은 이제 "Copyright (c) 2023-2026 ClickHouse, Inc."로 시작합니다. 프로젝트는 여전히 활발히 개발되고 있으며, 이 페이지를 확인한 당일에도 변경이 있었습니다.

여기에는 나름의 논리가 있습니다. Langfuse는 원래 트레이스를 ClickHouse에 저장하고 있었으므로, 인수자는 제품 밑단의 데이터베이스를 소유한 쪽이지 분야 밖의 매수자가 아닙니다. 이 분야의 여느 인수보다 나은 출발점입니다. 그럼에도 짚어둘 만합니다. 인수 이후 로드맵 우선순위는 인수자의 상업적 이해를 따르고, 자체 호스팅 Langfuse는 이제 ClickHouse Cloud도 파는 회사에 기대게 됐습니다. Enterprise 자체 호스팅은 ClickHouse Cloud 또는 BYOC와 명시적으로 묶여 있고 그 비용은 별도로 더해집니다.

Langfuse는 넷 중 유일하게 무료 자체 호스팅 배포를 문서화하고 지원하지만, 무료와 유료 사이에 기능 장벽이 없다는 자주 반복되는 주장은 사실이 아닙니다. 공식 자체 호스팅 페이지는 아홉 가지를 Enterprise 전용으로 명시합니다. 서버 측 데이터 마스킹, 프로젝트 단위 RBAC, 데이터 보존 기간 관리, SCIM 사용자 프로비저닝, 조직 생성자, UI 커스터마이징, 감사 로그, 관리 및 인스턴스 관리 API, 보호된 배포 라벨입니다.

이 목록은 자체 호스팅이 대개 누구를 위한 것인지 염두에 두고 읽어야 합니다. 팀이 자체 호스팅을 택하는 이유는 데이터 소재지나 규제 압력이고, RBAC와 감사 로그, 데이터 마스킹은 바로 규제 대상 팀이 필요로 하는 것들입니다. 무료 등급은 옵저버빌리티, 평가, 프롬프트 관리, 데이터셋, 트레이싱, 비용 추적을 사용량 제한 없이 실제로 포함합니다. 포함하지 않는 것은 거버넌스입니다.

나머지 셋은 더 단순합니다. LangSmith는 자체 호스팅을 맞춤 견적 Enterprise로 한정합니다. PromptLayer는 GCP, AWS, Azure에서의 단일 테넌트 자체 호스팅을 Enterprise에서만 제공합니다. 흥미로운 쪽은 Helicone입니다. 소스는 Apache-2.0으로 공개돼 있지만, 요금 페이지는 온프레미스를 Enterprise에서만 판매하고 지원되는 무료 자체 호스팅 경로를 문서화하지 않았습니다. 여기서 오픈소스라는 것과 지원되는 자체 호스팅이 있다는 것은 같은 말이 아닙니다.

넷 모두 좌석 또는 플랫폼 기본료에 포함 한도를 넘는 계측 사용량을 더하는 혼합 과금이라, 같은 등급의 두 팀이 매우 다른 청구서를 받을 수 있습니다. 인원수보다 사용량이 청구액을 좌우하며, LangSmith가 가장 뚜렷한 예입니다.

Helicone은 비용 가시성을 중심으로 만들어졌고, 그 이유는 프록시라는 구조에 있습니다. 모든 호출이 통과하므로 무엇을 계측할지 누군가 정할 필요 없이 기본적으로 모든 요청에서 비용과 토큰 데이터가 수집되며, 누군가 감싸는 것을 잊은 서비스 때문에 사각지대가 생기지 않습니다.

Langfuse와 LangSmith도 더 넓은 옵저버빌리티 데이터의 일부로 트레이스별 토큰 사용량과 비용을 기록하며, 대부분의 팀에는 이것으로 충분합니다. 다만 둘 다 Helicone처럼 비용 관리를 독립된 제품 영역으로 내세우지는 않습니다. PromptLayer는 요청별 비용을 기록하지만 전용 비용 대시보드가 아니라 로그 화면을 통해 보여줍니다.

솔직히 말하면 이는 역량의 차이가 아니라 강조점의 차이입니다. "열두 개 서비스 중 어느 모델과 어느 키가 예산을 태우고 있나"에 답하고 싶다면 Helicone이 가장 빨리 답합니다. "이 에이전트 실행이 왜 11달러가 들었나"에 답하고 싶다면, 개별 단계를 보는 SDK 트레이서가 더 쓸모 있습니다.

스택, 데이터 소재지 요건, 팀 규모가 이를 결정합니다. 여섯 유형이면 대부분의 독자를 포괄합니다.

옵저버빌리티 트레이스에는 프롬프트와 응답이 통째로 담깁니다. 곧 사용자가 입력한 내용이 그대로 담긴다는 뜻입니다. 그래서 호스팅형이냐 자체 호스팅이냐의 선택이 주요 세 시장에서 데이터 보호 문제가 됩니다.

아직 프로토타입 단계라면 — 하루에 수동으로 수십 번 호출하고, 프로덕션 트래픽이 없고, 트레이스를 봐야 할 사람이 달리 없다면 — 넷 다 건너뛰고 각 사업자의 대시보드를 쓰세요. OpenAI 사용량 페이지와 Anthropic 콘솔이 이미 지출과 요청량을 보여주고, 이 규모에서는 출력만 찍어봐도 나머지가 채워집니다.

기다릴 만한 문턱은 구체적입니다. 여러분이 일으키지 않은 트래픽을 만들어내는 실제 사용자가 생겼을 때, 또는 여러분에게 묻지 않고 "무엇을 했는지" 답해야 하는 두 번째 사람이 생겼을 때입니다. 둘 다 가시성 문제이고, 이 도구들이 파는 것이 바로 그것입니다. 그전에 도입하는 것은 아직 파악하지 못한 사용 패턴을 상대로 플랫폼을 설정하는 일이며, 대부분의 팀은 실제 트래픽이 오면 어차피 다시 설정합니다.