Prompt 평가 지표: 무엇을 측정하고 어떻게 합니까

Prompt 평가 지표는 prompt가 중요한 입력에 걸쳐 의도한 출력을 안정적으로 생성하는지 알려주는 정량적 신호입니다. 지표 없이는 prompt 평가가 주관적입니다. 올바른 지표는 prompt가 무엇을 생성해야 하는지에 달려 있습니다. 작업에 올바른 지표를 선택하면 체계적으로 prompt 품질을 평가할 수 있습니다.

출력 유형이 어떤 지표가 유효한지 결정합니다. JSON 출력에 BLEU를 사용하거나 창의적 생성 작업에 pass/fail을 사용하면 의미 없는 점수가 나옵니다.

Pass rate는 prompt 출력이 정의된 성공 기준을 충족하는 테스트 입력의 비율입니다 — 프로덕션 실패율에 직접 매핑되기 때문에 가장 실행 가능한 지표입니다. Pass rate 92%는 실제 사용자 요청의 8%가 실패한다는 것을 의미합니다.

Pass rate = 통과한 출력 / 총 테스트 케이스

구조화된 출력의 경우, 테스트를 실행하기 전에 "통과"를 정확하게 정의하십시오: 유효한 JSON, 필수 필드 존재, 허용된 열거형 내의 값, 지정된 한도 미만의 길이.

Prompt 버전별 pass rate를 추적하십시오. 5포인트 이상 하락은 회귀입니다. 10포인트 이상 하락은 프로덕션 배포를 차단해야 합니다.

BLEU(Bilingual Evaluation Understudy) 점수는 모델 출력과 참조 텍스트 간의 n-그램 겹침을 측정합니다. 기계 번역의 표준 지표이며 출력이 참조와 밀접하게 일치해야 하는 모든 작업에 적합합니다.

BLEU가 오해의 소지가 있는 경우:

• JSON 또는 구조화된 출력: BLEU는 형식 토큰을 점수화하며 의미론적 정확성을 점수화하지 않음
• 지시 따르기: 모든 지시를 따르지만 다르게 의역한 prompt는 BLEU에서 낮은 점수를 받음
• 창의적 생성: BLEU는 품질이 높을 때도 어휘 다양성을 벌점함

BLEU가 적합한 경우: 금 참조가 있는 번역 작업, 인간이 작성한 요약과 비교한 요약, 예상 단어 그대로의 답변이 있는 추출적 QA.

시맨틱 유사성은 임베딩의 코사인 유사성을 계산하여 두 텍스트가 의미상 얼마나 가까운지 측정합니다. 단어 선택이 아닌 의미를 포착하기 때문에 의역 및 재작성 작업에서 BLEU를 능가합니다.

작동 방식: OpenAI text-embedding-3-small 또는 로컬 임베딩 모델을 사용하여 모델 출력과 참조를 임베딩하고, 코사인 유사성을 계산합니다. 0.85 이상의 점수는 일반적으로 의미론적으로 동등한 콘텐츠를 나타냅니다.

한계: 시맨틱 유사성은 사실적 정확성을 확인하지 않고, 형식 위반을 감지하지 않으며, 환각이 예상 답변과 의미론적으로 유사하면 높은 점수를 줄 수 있습니다.

LLM-as-judge는 유능한 모델 — 일반적으로 GPT-5.5 또는 Claude Opus 4.8 — 을 사용하여 루브릭에 따라 출력을 점수화합니다. 이것은 인간 검토 없이 수천 건의 테스트 케이스로 평가를 확장하고 이진 지표가 포착할 수 없는 품질 차원을 처리합니다: 일관성, 톤, 완전성, 사실적 정확성.

Prompt 버전별 기본 지표를 추적하고 설정된 기준선에서 5포인트 이상 하락할 때 경보를 울리십시오. 모든 prompt 변경, 모델 업데이트, 또는 temperature 조정 전후에 동일한 테스트 세트를 실행하십시오.

prompt 감사 및 회귀 위험 감지를 구현할 때 이 워크플로우를 따르십시오:

1. 현재 지표 점수를 기준선으로 기록합니다 (예: pass rate = 91%) 2. Prompt 변경을 수행합니다 3. 전체 테스트 세트를 다시 실행합니다 4. 새 점수를 기준선과 비교합니다 5. 하락 > 5포인트: 변경을 차단하고, 조사하고, 수정합니다

CI/CD에서 자동화된 회귀 감지를 위해 Promptfoo 같은 도구가 GitHub Actions와 통합되어 pass rate가 임계값 아래로 떨어지면 PR을 실패시킬 수 있습니다.

규제 프레임워크는 관할권과 위험 분류에 따라 특정 의무를 가진 문서화된 AI 품질 지표를 점점 더 요구하고 있습니다.

• EU (AI Act 2025–2026): 고위험 AI 시스템은 정량적 품질 지표를 사용한 문서화된 테스트를 증명해야 합니다. Prompt 평가 기록 — 테스트 세트, pass rate, 회귀 기준선 — 은 AI Act 투명성 요구사항을 위한 감사 준비 증거를 제공합니다.

• 미국 (SOC 2 / NIST AI RMF): SOC 2 Type II 감사는 AI 기반 프로세스에 대한 문서화된 품질 보증을 기대합니다. 버전 기록이 있는 Prompt 평가 지표는 변경 관리 및 품질 관리 감사 요구사항을 충족합니다.

• 다국어 평가: 여러 언어에 걸쳐 prompt를 배포할 때 각 언어 변형을 별도로 평가하십시오. BLEU 점수와 시맨틱 유사성 임계값은 언어 쌍 간에 크게 다릅니다. 한국어 평가에서는 한국어 특화 임베딩 모델을 사용하고 한국어 컨텍스트에 맞게 임계값을 조정하십시오.