AI로 문서 추출 및 요약하기

추출적 요약은 소스에서 문장을 직접 복사하고, 추상적 요약은 내용을 바꿔 쓰고 압축하는 새 문장을 생성합니다 — 두 접근법은 사실적 정확도와 가독성 및 압축률을 트레이드오프합니다.

추출적 요약 — Scholarcy 같은 도구에서 사용 — 은 키워드 빈도, 위치, 정보 밀도로 문장을 순위 매긴 다음 수정 없이 가장 높은 점수의 문장을 재현합니다. 새 텍스트가 생성되지 않으므로 사실적 오류가 구조적으로 불가능합니다. 추상적 요약 — GPT-5.6, Claude Sonnet 5, Gemini 3.1 Pro에서 사용 — 은 합성하고 바꿔 쓴 새 텍스트를 생성하여 더 읽기 쉬운 출력을 생성하지만 환각 위험이 높아집니다.

NotebookLM(Google DeepMind)은 로드된 문서의 소스 기반 인용 요약에서 선도합니다; Claude Sonnet 5(Anthropic)은 합성, 문서 간 분석, 복잡한 추론에서 선도합니다; GPT-5.6(OpenAI)는 빠르고 유연한 범용 요약에서 선도합니다.

Vectara의 Hughes Hallucination Evaluation Model(HHEM) — 모델당 831개 문서에서 테스트된 표준 벤치마크 — 에서 2025년 최고 결과는 다음과 같습니다:

이 수치는 동일한 작업에서 최고 모델이 21.8%의 환각률을 기록했던 2021년 이후 96% 개선을 나타냅니다. 그러나 이 수치는 소스 기반 요약에만 적용됩니다. 오픈 도메인 사실 검색은 동일한 모델에서 3~33%의 환각률을 생성합니다.

PromptQuorum에서 테스트 — 세 모델에 발송된 25개 문서 요약 프롬프트: Claude Sonnet 5은 25건 중 20건에서 분석적으로 가장 완전한 요약을 생성하였습니다. GPT-5.6는 25건 중 18건에서 가장 간결하고 즉시 활용 가능한 요약을 생성하였습니다. Gemini 3.1 Pro는 컨텍스트 잘림 없이 25개 문서 전체를 처리할 수 있는 유일한 모델이었습니다.

문서 유형, 출력 형식, 길이 제약, 명시적 플래그 지시를 지정하는 구조화된 요약 프롬프트는 직접 활용 가능한 출력을 생성합니다; 비구조화된 프롬프트는 중요한 정보를 생략하는 일반적인 단락을 생성합니다.

프롬프트 엔지니어링에서 가장 흔한 실수는 "이것을 요약하십시오"를 완전한 지시로 취급하는 것입니다. 길이, 형식, 관점, 세부 수준에 대해 모델이 만드는 모든 가정은 실제로 필요한 것과 불일치할 수 있습니다.

불량 프롬프트 — 비구조화, 활용 불가능한 일반적 출력 생성:

구조화된 프롬프트는 프레젠테이션에서 직접 활용 가능한 문서를 생성합니다. 개방형 프롬프트는 부문 데이터를 생략하고, 가이던스 변경을 묻어두며, 30분의 재구성이 필요한 내러티브 단락을 생성합니다.

GPT-5.6, Claude Sonnet 5, Gemini 3.1 Pro에서 1M 토큰 컨텍스트 윈도우가 표준이 된 지금, 대부분의 개별 문서는 청킹 없이 컨텍스트 윈도우 내에 맞습니다. 청킹은 다음의 경우에 여전히 필수적입니다: (1) 800페이지를 초과하는 여러 문서 합성, (2) 제한된 컨텍스트를 가진 소규모 또는 로컬 모델(Mistral Small: 32K, LLaMA 3.3 8B: 128K), (3) 매우 긴 문서에서 정확도 향상.

모델의 컨텍스트 윈도우를 초과하는 문서의 경우 청킹 — 문서를 500~2,000 토큰 세그먼트로 분할하고, 각 청크를 요약한 다음, 청크 요약을 합성 — 은 그렇지 않으면 잘리거나 성능이 저하될 정보를 보존합니다.

명확한 섹션 구조가 있는 문서(법률 계약서, 연간 보고서, 학술 논문)의 경우 주제별 청킹이 가장 일관된 최종 합성을 생성합니다. 비구조화된 문서(이메일 스레드, 녹취록)의 경우 500 토큰 간격의 단락 기반 청킹이 권장 기본값입니다.

LLM은 검증된 데이터베이스에서 사실을 검색하는 것이 아니라 다음 토큰을 예측하여 텍스트를 생성합니다. 이 확률적 프로세스로 인해 현재 아키텍처 하에서 환각은 수학적으로 불가피합니다.

arXiv의 2025년 수학적 증명은 어떤 LLM도 모든 가능한 입력에 대해 완전한 환각 부재를 보장할 수 없음을 확인하였습니다. 2021년 이후 환각률의 96% 감소는 더 나은 미세 조정, 더 큰 기반 컨텍스트, 개선된 프롬프트 기법에서 비롯된 것입니다.

현재 최선의 완화 전략: 소스 문서에 명시적 고정, 낮은 Temperature, 충실도 확인, 다중 모델 검증.

요약 품질 평가에 일반적으로 사용되는 세 가지 지표: ROUGE, BERTScore, HHEM(Hughes Hallucination Evaluation Model).

ROUGE는 생성된 요약과 참조 요약 간의 n-gram 중첩을 측정합니다 — 내용 커버리지 비교에 유용하지만 의미론과 사실적 정확성에는 맹점이 있습니다. BERTScore는 BERT 임베딩 간의 코사인 유사도를 사용하여 정확한 단어 일치 대신 의미론적 유사성을 포착합니다. HHEM(Vectara)은 요약의 주장이 소스 문서에 따라 사실인지 측정하는 업계 표준 충실도 지표입니다.

프로덕션 문서 워크플로우의 경우 HHEM 충실도 점수와 완전성 확인을 결합하면 가장 신뢰할 수 있는 품질 신호를 얻을 수 있습니다.

개인 데이터가 포함된 문서를 처리하는 유럽 기업은 GDPR을 준수해야 합니다 — 개인 데이터가 포함된 문서를 외부 API(OpenAI, Anthropic)로 전송하는 것은 GDPR 제28조에 따라 데이터 처리 계약(DPA)이 필요합니다. 데이터 거주 요구 사항이 있는 EU 팀의 경우, Mistral AI(프랑스) 모델을 로컬로 배포하여 모든 데이터를 EU 인프라 내에 유지할 수 있습니다.

중국 기업은 중국어 문서 처리에 Qwen 3(Alibaba)를 사용합니다 — 주로 영어로 훈련된 모델보다 약 40% 적은 토큰으로 중국어 문자를 토큰화합니다. Ollama를 통해 로컬 추론을 실행하는 일본 기업은 방대한 기술 문서 처리를 위해 LLaMA 4 Scout(10M 토큰 지원)를 활용합니다.