AI 출력 제어: JSON 스키마 준수, 제약 디코딩 및 형식 선택

출력 제어는 프롬프트 기반, 스키마 기반, 제약 디코딩의 세 가지 서로 다른 수준에서 작동합니다. 각 수준은 추론 품질에 대한 트레이드오프가 점진적으로 높아지는 대신 점진적으로 강력한 형식 보장을 제공합니다.

프롬프트 기반 형식은 자연어로 모델에 지시합니다("Return JSON with fields: name, email, score"). 이 방법은 80~95%의 경우에 작동하지만 형식 보장 없이 엣지 케이스에서 조용히 실패하므로, 잘못된 형식의 응답 5~20%에 대한 오류 처리가 필요합니다. 스키마 기반 접근 방식(함수 호출/도구 사용)은 95~99% 준수율로 출력 구조를 공식적으로 정의하지만, 스키마는 절대적인 제약이 아닌 강력한 힌트에 그칩니다. 네이티브 제약 디코딩은 생성 시 무효 토큰을 마스킹하는 유한 상태 기계를 사용하여 수학적 확실성으로 100% 스키마 유효 출력을 생성합니다.

2단계 접근 방식 — Stage 1에서 Claude Opus 4.8(Anthropic) 또는 GPT-5.5(OpenAI)가 자유롭게 추론하도록 한 다음, 출력을 Stage 2의 소형 전문 구조화 모델(Osmosis-Structure-0.6B, 50만 건의 합성 비구조화→구조화 변환으로 훈련)에 전달하는 방식 — 은 제약 디코딩의 추론 품질 패널티 없이 형식 보장을 달성합니다.

한 문장으로 요약하면: 작업에 맞게 출력 제약 수준을 조정하십시오. 형식 정확성이 추론 깊이보다 더 중요한 경우에만 제약 디코딩을 사용하십시오.

명시적인 출력 스키마 지시 — Claude Opus 4.8의 경우 시스템 프롬프트 시작 부분에, GPT-5.5의 경우 사용자 콘텐츠 바로 앞에 배치 — 를 사용하면 네이티브 제약 디코딩의 추론 품질 패널티 없이 85~95%의 구조화 출력 준수율을 달성할 수 있습니다.

Claude Opus 4.8(Anthropic)은 XML 스타일 섹션 레이블을 사용하여 시스템 프롬프트 시작 부분에 배치된 출력 형식 지시에 가장 효과적으로 반응합니다. GPT-5.5(OpenAI)는 사용자 콘텐츠 바로 앞에 번호가 매겨진 형식 규칙으로 스키마를 배치할 때 가장 좋은 성능을 발휘합니다. Gemini 3.1 Pro(Google DeepMind)는 프롬프트의 시작과 끝 모두에 스키마를 명시할 때 가장 신뢰할 수 있는 구조화 출력을 생성합니다.

나쁜 프롬프트 — 구조화되지 않고 형식 지정 없음:

좋은 프롬프트 — Claude Opus 4.8

XML 구조화 프롬프트는 출력 형식 계약을 고정하면서 `<task>` 블록 내에서의 자유로운 추론을 보존합니다. 제약 디코딩이 필요하지 않습니다. Claude Opus 4.8은 이 구조로 93% 이상의 프로덕션 호출에서 준수합니다.

좋은 프롬프트 — GPT-5.5

주요 LLM은 각각 출력 형식 준수에 대해 서로 다른 구조적 선호도를 갖고 있습니다:

Temperature(T), Top-P, Top-K, max_tokens, frequency_penalty, presence_penalty는 출력 길이, 무작위성, 반복을 공동으로 결정하는 6개의 독립적인 파라미터이며, 충돌 없이 일관되게 설정해야 합니다.

Temperature(T)는 소프트맥스 출력 분포를 조정합니다. T=0.0이면 모델이 항상 가장 높은 확률의 토큰을 선택(결정론적)하고, T=2.0이면 분포가 거의 평탄해져 출력이 일관성을 잃습니다. Top-P(핵 샘플링)는 누적 확률이 P에 도달하는 최소 토큰 집합에서 선택합니다. Top-P=0.9이면 모델은 확률 질량 상위 90%를 포함하는 토큰만을 고려합니다. Top-K는 각 단계에서 가장 높은 확률의 K개 토큰으로 생성을 제한합니다. Top-K=1은 탐욕적 디코딩과 동일합니다.

온도를 적용한 소프트맥스 공식: P(토큰) = exp(logit / T) / sum(exp(logits / T)). T가 0에 가까워질수록 로짓이 가장 높은 토큰의 확률이 1.0에 가까워집니다. T가 무한대에 가까워질수록 모든 토큰이 동등한 확률에 가까워집니다.

중요 규칙: Temperature와 Top-P를 동시에 높은 값으로 설정하지 마십시오. Temperature는 먼저 전체 분포를 조정하고, 그 다음 Top-P가 이미 조정된 상위 확률 질량에서 샘플링합니다. T=1.5와 Top-P=0.95를 조합하면 어느 한 파라미터 단독보다 더 불규칙한 출력이 생성됩니다. 이 두 파라미터는 쌓아서 사용하는 것이 아니라 대안으로 사용하도록 설계되었습니다.

`frequency_penalty`는 이미 출현한 횟수에 비례하여 토큰의 확률을 감소시킵니다. 양수 값은 반복적인 표현을 제거하고, 음수 값은 적극적으로 반복을 장려합니다. `presence_penalty`는 빈도에 관계없이 이미 출현한 모든 토큰에 일회성 고정 패널티를 적용합니다. 이를 통해 모델이 기존 내용을 반복하는 대신 새로운 어휘와 주제를 도입하도록 유도합니다.

제약 디코딩으로 JSON을 강제하면 함수 호출 벤치마크에서 모델 정확도가 2.26포인트 감소합니다. BAML의 스키마 정렬 파싱은 BFCL에서 93.63%의 정확도를 달성한 반면, 동일한 벤치마크에서 OpenAI의 엄격한 제약 디코딩은 91.37%에 그쳤습니다.

메커니즘은 다음과 같습니다. 제약 디코딩은 현재 스키마 위치와 호환되지 않는 토큰을 마스킹하는 유한 상태 기계를 적용합니다. 스키마가 정수를 지정하는 경우, float 필드에 `51.7`을 출력하려는 모델은 `51`을 출력하도록 강제됩니다. 기술적으로는 유효하지만 사실적으로는 저하된 결과입니다. Chain-of-Thought(CoT) 프롬프팅도 동일한 방식으로 제약 디코딩과 호환되지 않습니다. 추론 필드를 포함하면 모델이 JSON 문자열 내에서 개행, 따옴표, 특수 문자를 이스케이프하도록 강제되어 테스트된 모든 모델에서 추론 품질이 측정 가능한 수준으로 저하됩니다.

추론 깊이와 형식 보장이 모두 필요한 시스템의 프로덕션 등급 솔루션: (1) Stage 1 — 제약 없이 GPT-5.5 또는 Claude Opus 4.8에 전송: "이것을 분석하고, 단계별로 추론하고, 논리를 설명하십시오." (2) Stage 2 — Stage 1 출력을 소형 전문 모델(Osmosis-Structure-0.6B 또는 `strict: true`가 적용된 GPT-5.5-mini)에 전달: "이 분석에서 핵심 데이터를 추출하여 이 정확한 JSON 스키마로 반환하십시오."

이 아키텍처는 Stage 1의 추론 품질을 보존하고 Stage 2에서 100% 형식 준수를 달성합니다. 전체 프론티어 모델을 제약 모드로 실행하는 비용의 일부로 구현할 수 있습니다.

PromptQuorum에서 테스트되었습니다. 3개 모델에 30개의 출력 제어 프롬프트를 전송하였습니다. Claude Opus 4.8은 제약 디코딩 없이 XML 태그 형식 지시를 사용하여 93%의 JSON 준수율을 달성하였습니다. GPT-5.5는 번호가 매겨진 형식 규칙으로 89% 준수율을 달성하였습니다. Gemini 3.1 Pro는 스키마를 시작과 끝 모두에 명시했을 때 91% 준수율을 달성하였습니다. `strict: true` 제약 디코딩이 활성화되었을 때 세 모델 모두 더 짧고 덜 완성된 추론을 생성하였습니다. 이는 BFCL 벤치마크에서 관찰된 2.26포인트 정확도 저하와 일치합니다.

중지 시퀀스 — 생성 시 즉시 모델 출력을 종료하는 토큰 — 는 가장 결정론적인 출력 제어 메커니즘입니다. 모델은 지정된 문자열이 나타나는 순간 나머지 컨텍스트에 관계없이 중단합니다.

중지 시퀀스는 API 호출에서 문자열 배열로 전달합니다(OpenAI의 `stop` 파라미터, Anthropic의 `stop_sequences`). 일반적인 프로덕션 사용 사례:

프롬프트 본문의 부정 제약 — "설명을 포함하지 마십시오", "마크다운 없음", "소개 문장을 추가하지 마십시오" — 은 원하지 않는 출력 패턴을 줄이지만 중지 시퀀스처럼 준수를 보장할 수 없습니다. 두 가지를 모두 사용하십시오. 중지 시퀀스는 구조적 종료에, 부정 제약은 콘텐츠 스타일 형성에 활용하십시오.

JSON은 API 객체, 배열, 타입이 지정된 데이터에 직접 매핑되므로 LLM 프로덕션 파이프라인의 지배적인 출력 형식입니다. 그러나 제약 디코딩으로 JSON을 강제하면 추론 품질의 2~10%를 희생하므로 형식 선택은 중요한 아키텍처 결정이 됩니다.

TOON(Token-Optimised Output Notation)은 긴 구조화 프롬프트를 위한 효율적인 입력 형식으로 등장하였습니다. 공백 최소화와 약어 키를 사용하여 모델이 JSON으로 출력을 생성하기 전의 입력 토큰 소비를 줄입니다. 출력을 위한 2026년 권장 프로덕션 아키텍처는 다음과 같습니다. 입력에는 TOON(토큰 효율성)을 사용하고, 출력에는 제약 디코딩이 적용된 JSON(형식 보장)을 사용합니다. 단, Stage 1의 자유 추론이 완료된 이후에만 적용합니다.

개인 데이터를 처리하는 LLM 파이프라인을 구축하는 유럽 기업들은 출력 스키마 설계에 GDPR 제25조(프라이버시 바이 디자인)를 적용해야 합니다. JSON 페이로드에서 개인 데이터 필드를 노출하는 출력은 GDPR 제6조에 따른 법적 근거가 필요합니다. 프랑스의 데이터 보호 기관인 CNIL은 2026년 1월, 점수 산정 또는 자격 워크플로우에 사용되는 구조화된 LLM 출력을 포함한 자동화된 의사 결정 출력이 GDPR 제22조에 따른 사람의 검토 권리를 촉발할 수 있다는 지침을 발표하였습니다.

구조화 출력 제어를 통한 온프레미스 추론이 필요한 EU 팀의 경우, Mistral AI(프랑스)는 vLLM 기반 제약 디코딩을 가이드 JSON 파라미터와 함께 지원합니다. 이를 통해 EU 인프라 내에서 완전히 보장된 JSON 스키마 준수를 달성할 수 있으며, GDPR 제46조에 따른 데이터 거주 요건을 충족합니다. Mistral Large는 구조화 출력 지원과 함께 온프레미스에서 실행됩니다.

한국 기업들은 「개인정보 보호법」(PIPA) 및 금융 분야의 경우 금융감독원 가이드라인에 따라 LLM 파이프라인을 운영해야 합니다. 개인 정보를 포함하는 JSON 출력은 동의 기반 처리 근거가 필요하며, 의료 및 금융 분야의 구조화 출력은 법정 보존 요건의 적용을 받습니다. 온프레미스 추론과 Ollama를 통한 제약 디코딩은 데이터가 내부 인프라 내에 유지되도록 보장하는 기술적 수단입니다. 중국 기업들은 Qwen 3(알리바바)와 DeepSeek V3(DeepSeek AI)를 프로덕션 출력 제어 파이프라인에 사용합니다. 두 모델 모두 JSON 모드를 지원하며 중국의 「생성형 AI 서비스 임시 관리 방법」(2023년)에 따라 현지 배포가 가능합니다.