2026년 최고의 LLM 평가 도구: Braintrust, Weave, Promptfoo

채점 기능 목록이 아니라 평가가 어디서 실행되고 누가 결과를 읽는지로 고르세요. 셋 다 같은 채점 기본기를 갖췄습니다. 아래를 읽어 내려가다 본인에게 해당하는 첫 줄에서 멈추세요.

LLM 평가 도구는 테스트 케이스 데이터셋을 프롬프트나 에이전트에 통과시키고 각 출력에 점수를 매겨, 변경이 사용자에게 닿기 전에 좋아졌는지 나빠졌는지 알 수 있게 합니다. 데이터셋은 보통 입력과 기대 출력의 쌍이며, 프로덕션 로그에서 뽑거나 경계 사례로 직접 쓰거나 생성한 것입니다. 채점기는 문자열 일치나 JSON 스키마 검증 같은 결정적 검사부터, 두 번째 모델이 기준표에 따라 채점하는 LLM 심판, 직접 작성하는 사용자 정의 함수까지 다양합니다.

이는 시스템이 가동된 뒤 무엇을 하는지 지켜보는 것과는 다른 일입니다. 평가는 "이 변경을 내보내도 안전한가"에 답하고, 프로덕션 모니터링은 "지금 무엇을 하고 있나"에 답합니다. 이 페이지는 앞의 질문을 다룹니다. 같은 문제를 프롬프트 수준에서 보려면 프롬프트 품질 평가 방법을 참고하세요.

셋 다 LLM 심판, 사용자 정의 채점기, 데이터셋 기반 회귀 테스트를 지원하므로 비교의 축은 호스팅 방식, 비용 구조, 자격 요건입니다. 가격은 2026년 8월 28일 각 업체 페이지에서, 저장소 수치는 같은 날 GitHub API에서 읽었습니다.

코드를 쓰지 않는 사람이 평가 결과를 봐야 할 때 고르는 것이 Braintrust입니다. 그 가치는 호스팅 화면, 데이터셋 버전 관리, 사람 검토 흐름에 집중되어 있는데, 이는 그러지 않으면 직접 만들어야 하는 부분입니다.

팀이 이미 Weights & Biases에서 실험을 추적하고 있다면 Weave가 당연한 답이고, 그렇지 않다면 설득하기 더 어렵습니다. 논거는 통합 그 자체입니다. 평가가 이미 보고 있는 실행 기록 옆에 놓입니다.

Promptfoo는 어떤 규모에서도 비용이 들지 않는 쪽이며, 이유는 직접 실행하기 때문입니다. 플랫폼이 아니라 CLI와 라이브러리이므로, 평가는 코드 옆에 설정으로 놓이고 테스트가 이미 돌고 있는 곳에서 실행됩니다.

OpenAI는 2026년 3월 9일 Promptfoo 인수를 발표하며 오픈소스 유지를 공개적으로 약속했습니다. OpenAI 자신의 표현은 이렇습니다. "Promptfoo will remain open source under the current license, and we will continue to service and support current customers." 인수는 당시 TechCrunch, CNBC, Forbes가 보도했고 OpenAI와 Promptfoo 각자의 사이트에서도 확인됩니다.

현장의 정황은 지금까지 그 약속을 뒷받침합니다. 거의 여섯 달이 지난 지금도 저장소는 `promptfoo` 조직 아래에 있고, 여전히 MIT 라이선스이며, 이 페이지를 확인한 당일에도 갱신되었습니다. 보고 싶은 그림입니다.

그럼에도 생각해볼 이유는 라이선스가 아니라 거버넌스입니다. 평가 도구는 모델을 판단하는 데 쓰는 물건인데, 이제 모델을 만드는 회사의 소유가 되었습니다. MIT 라이선스는 프로젝트 방향이 언젠가 자신에게 맞지 않게 되면 포크할 수 있다는 뜻이며, 이는 Braintrust나 Weave가 제공하지 않는 실질적 보호입니다. 다만 평가 전략이 모델 벤더 간 중립성에 기대고 있다면, 그것은 가정이 아니라 의식적인 결정이어야 합니다.

비용은 좌석이 아니라 데이터 양과 심판 모델 지출에 따라 늘어납니다. 그래서 무료 등급의 무제한 사용자가 처음 보이는 것보다 훨씬 유용합니다. 아래 표는 월 약 5만 건 평가 채점이라는 중간 규모 작업을 기준으로 계산했습니다.

셋 중 자체 호스팅이 기업용 업그레이드가 아니라 기본값인 것은 Promptfoo뿐입니다. CLI와 라이브러리이기 때문에, 호스팅 등급을 일부러 고르지 않는 한 테스트 케이스와 모델 출력은 결코 환경을 벗어나지 않습니다. 데이터 소재지 규정을 받는 팀에게 이는 질문에 답하는 것이 아니라 질문 자체를 없앱니다.

Braintrust는 온프레미스 또는 호스팅 배포를 제공하지만 Enterprise에 한하며, 이는 맞춤 가격과 영업 상담을 뜻합니다. 마케팅 문구가 아니라 실제 배포 옵션이지만, 셀프서비스로 평가할 수는 없습니다.

Weave의 Enterprise 등급은 고객 관리 암호화 키, HIPAA 준수, 안전한 사설 연결을 갖춘 단일 테넌트 옵션을 제공합니다. 이 대목은 꼼꼼히 읽으세요. 고객 관리 키를 쓰는 단일 테넌트는 전용 인스턴스이며, 자사 경계 안에서 실행하는 것과 같지 않습니다. 요구사항이 엄격히 온프레미스라면, 단일 테넌트가 이를 충족한다고 단정하지 말고 Weights & Biases에 세부를 확인하세요.

기능 목록보다 팀의 형태가 이를 결정합니다. 다섯 가지 유형이 대부분의 독자를 포괄합니다.

평가 데이터셋은 대개 프로덕션 트래픽으로 만들어지므로, LLM 스택에서 가장 민감한 데이터에 속합니다. 그래서 호스팅형이냐 로컬이냐의 선택이 세 주요 시장에서 컴플라이언스 문제가 됩니다.

테스트 세트가 프롬프트 열두 개이고 엔지니어 한 명이 돌린다면, 셋 다 건너뛰고 CI에서 점수를 매기는 스크립트를 쓰세요. 계정도 계량기도 보존 기간도 없이 같은 회귀 신호를 얻고, 나중에 플랫폼으로 옮겨도 잃을 것이 없습니다. 자산은 데이터셋이고 그것은 함께 옮겨가기 때문입니다.

기다릴 만한 기준선은 데이터셋 관리가 일 자체가 되는 시점입니다. 실패한 사례를 프로덕션에서 테스트 세트로 정기적으로 끌어오고 싶을 때, 코드를 쓰지 않는 사람이 출력에 등급을 매겨야 할 때, 또는 이번 달 결과를 지난 분기와 비교해야 할 때입니다. 이는 데이터 관리 문제이고, 여러분이 실제로 사는 것이 바로 그것입니다. 채점 자체는 예나 지금이나 쉬운 쪽이었습니다.