컨텍스트 윈도우 설명: AI가 잊어버리는 이유(와 대처 방법)

LLM은 장기 기억이 없습니다 — 최근 토큰의 슬라이딩 윈도우만 "볼" 수 있으며, 이 윈도우 밖의 모든 것은 잊혀지거나 압축됩니다. 이 글에서는 이것이 프롬프트에 어떤 의미인지, 그리고 이러한 한계 내에서(및 그 주변에서) 어떻게 작업하는지 설명합니다.

컨텍스트 윈도우는 LLM이 다음 출력을 생성할 때 고려할 수 있는 최대 텍스트 양(토큰 단위)입니다.

GPT-5.5에 128k 토큰 컨텍스트 윈도우가 있는 경우, 모델은 대화의 마지막 128,000개 토큰(약 96,000단어)을 "볼" 수 있습니다. 그 이전의 모든 것은 모델에게 보이지 않으며 응답에 영향을 미치지 않습니다.

토큰 대 단어: 토큰은 단어가 아닙니다. 평균적으로 1토큰 ≈ 4자 또는 약 0.75단어입니다. 4,000토큰 컨텍스트 윈도우 ≈ 일반 영어 텍스트 3,000단어입니다. 한국어 텍스트는 문자 인코딩으로 인해 단어당 약 2토큰이 필요합니다.

컨텍스트 윈도우 크기는 모델마다 크게 다릅니다:

모든 모델에서 원칙은 동일합니다: 윈도우 밖의 모든 것은 보이지 않습니다.

대화의 총 토큰 수(시스템 프롬프트 + 채팅 기록 + 사용자 입력 + 도구 + 예상 출력)가 컨텍스트 윈도우를 초과하면, 오래된 부분은 잘리거나 요약되거나 완전히 삭제됩니다.

이것은 인간의 망각과 같은 기억 상실이 아닙니다. 모델은 "생각한 다음 잊어버리는" 것이 아닙니다. 잘린 텍스트를 문자 그대로 보지 않습니다 — 모델의 입력 공간에 더 이상 존재하지 않습니다.

컨텍스트 한계에 도달했을 때 일반적인 증상:

대부분의 채팅 인터페이스는 다음 세 가지 전략 중 하나를 사용합니다:

이 모든 방법은 "요점"을 보존하지만 구체적인 세부사항을 잃습니다. 모델이 원래 지시사항을 더 이상 보지 못하면 따를 수 없습니다.

컨텍스트 과부하는 환각을 증폭시킵니다 — 원본 정보가 더 이상 보이지 않을 때 모델이 그럴듯한 추측으로 빈칸을 채우기 때문입니다.

패턴은 이렇습니다: 50개 메시지 전에 언급한 것을 AI에게 참조하도록 요청합니다. 하지만 그 메시지가 컨텍스트 윈도우에서 벗어났습니다. 모델은 실제 사실에 접근할 수 없으므로 현재 컨텍스트에서 추론한 것을 기반으로 그럴듯하게 들리는 답변을 생성합니다. 결과: 조작.

이것이 높은 컨텍스트의 긴 채팅이 집중된 짧은 교환보다 더 많은 환각을 생성하는 이유입니다. 모델이 추론 능력을 잃는 것이 아닙니다 — 불완전한 정보로 작업하는 것입니다.

상호작용은 직접적입니다: 더 적은 컨텍스트 → 근거 부족 → 증가된 환각 위험.

이 효과는 이미 무작위성을 높이는 높은 온도 및 top-p 설정으로 인해 증폭됩니다.

프롬프트를 전략적으로 구성하면 고정된 컨텍스트 예산 내에서 더 많은 것을 달성할 수 있습니다.

중요한 지시사항을 앞에 배치하십시오. 가장 중요한 제약사항, 규칙, 정의를 시스템 프롬프트 또는 첫 번째 사용자 메시지에 배치하십시오. 이것들은 20순서 후에 묻힌 지시사항보다 컨텍스트에서 벗어날 가능성이 적습니다.

반복을 피하십시오. 이미 한 번 설명한 것이 있다면 다시 붙여넣지 마십시오. 대신 참조하십시오: "위 요약에서 논의한 바와 같이..." 이것이 토큰을 절약합니다.

명시적으로 요약하십시오. 모델에게 지금까지의 주요 결정사항, 제약사항 또는 사실을 요약하도록 요청하십시오. 그런 다음 분산된 이전 컨텍스트에 의존하는 대신 그 요약에서 다음 응답을 구축하십시오.

순서에 집중하십시오. 단일 다중 주제 독백은 컨텍스트를 비효율적으로 사용합니다. 별도의 좁은 범위의 교환으로 나누십시오.

전체 책이나 수백 페이지의 PDF를 단일 컨텍스트 윈도우에 붙여넣는 것은, Gemini 3.1 Pro의 200만 토큰 윈도우에서도, 모델이 여러 다른 섹션에 동시에 효과적으로 집중할 수 없기 때문에 비효율적입니다.

1,000페이지 책 ≈ 250,000 토큰. 기술적으로 Gemini 3.1 Pro는 이를 처리할 수 있습니다. 실제로 모델의 추론은 크게 다른 섹션에 걸쳐 질문에 답변하도록 요청받을 때 저하됩니다. 긴 문서를 위한 더 나은 접근 방식:

컨텍스트 한계 근처에서 작업하는 것은 각 모델이 다른 한계, 잘림 동작, 가격 책정 및 (로컬 LLM의 경우) VRAM 요구사항을 가지고 있기 때문에 복잡합니다. PromptQuorum은 이러한 제약을 투명하게 만듭니다: 전송 전에 각 모델이 얼마나 많은 컨텍스트를 소비하는지, 언제 오버플로가 예상되는지 확인할 수 있습니다.

LM Studio 또는 Ollama에서 모델을 실행하면 컨텍스트 윈도우 크기를 구성할 수 있습니다. 기본적으로 도구는 종종 모델의 최대값(예: 7B 모델의 경우 32k)으로 설정합니다. 하지만 그것이 실제로 필요한 것인 경우는 거의 없습니다.

PromptQuorum은 LM Studio와 통합되어 작업별 컨텍스트 윈도우를 조정할 수 있습니다: 가벼운 빠른 Q&A에는 4k를 선택하고; 심층 문서 분석에는 32k를 선택하고; 긴 대화에는 64k를 선택하십시오.

PromptQuorum은 전송 전에 확인합니다: 시스템 프롬프트 + 현재 대화 기록 + 새 입력 + 예상 출력 길이가 주어졌을 때, 각 모델에 구성된 컨텍스트 윈도우에 맞습니까?

오버플로가 예상되면 PromptQuorum이 경고하거나 전송 전에 대화를 정리/요약하도록 요청합니다. 더 이상 놀라운 잘림이 없습니다.

로컬 모델의 경우 더 큰 컨텍스트 윈도우는 상당히 더 많은 VRAM을 필요로 합니다. 7B (Q4_K_M) 모델은 4k 컨텍스트에서 ~5 GB, 32k 컨텍스트에서 ~8–10 GB, 128k 컨텍스트에서 ~12–14 GB VRAM이 필요합니다. 사용 가능한 VRAM을 초과하면 프로세스가 충돌하거나 CPU 추론으로 폴백됩니다(10–100배 느림).

로컬 배포에 사용 가능한 가장 긴 컨텍스트 윈도우를 가진 모델에 대해서는 장문 컨텍스트 로컬 LLM을 참조하십시오.

GPT-5.5(128k 윈도우), Claude(200k 윈도우) 및 로컬 7B 모델(선택한 32k 윈도우)에 프롬프트를 전송할 때, PromptQuorum은 자동으로 세 가지 한계 내에서 프롬프트를 유지합니다. 하나의 프롬프트, 여러 모델, 수동 재작성 없음.

레시피 1: 하나의 프로젝트에 대한 긴 채팅 — 이전 결정을 잃지 않고 단일 프로젝트에 대한 다중 순서 대화를 유지합니다.

레시피 2: 긴 보고서 분석 — 50~100페이지 문서에서 인사이트를 추출합니다.

레시피 3: 컨텍스트 윈도우 가장자리에서 프롬프트 사용 — 오버플로 없이 거의 전체 컨텍스트 윈도우를 사용합니다.

레시피 4: 제한된 VRAM을 가진 로컬 LLM — 충돌 없이 로컬 모델을 효과적으로 실행합니다.