긴 컨텍스트 로컬 LLM 2026: 128K·256K·1M 모델 비교

컨텍스트 길이는 모델이 한 번의 요청에서 담을 수 있는 최대 토큰 수입니다. 프롬프트, 문서, 지금까지의 대화, 모델이 작성하는 답변을 모두 합친 값입니다. 토큰 하나는 영어 단어 약 0.75개에 해당하므로 128K 토큰은 약 10만 단어, 256K 토큰은 약 20만 단어입니다.

표기된 윈도우는 모델 아키텍처가 지원하는 최댓값입니다. 실제 사용 가능한 윈도우는 작업에서 답변이 정확하게 유지되는 길이이며, 그보다 짧습니다.

긴 윈도우는 전체 코드베이스, 계약서, 긴 녹취록, 책의 장, 도구 출력이 쌓이는 에이전트 세션에서 중요합니다. Ollama 문서는 에이전트, 웹 검색, 코딩 도구에 최소 64,000 토큰을 권장합니다.

내 컴퓨터에서의 한계는 세 가지로 정해집니다. 모델의 윈도우, 그 길이에서 KV 캐시가 필요로 하는 메모리, 그 길이에서 모델이 텍스트를 얼마나 안정적으로 활용하는지입니다. 다음 절에서 차례로 설명합니다.

여러 모델이 있습니다. Ollama 라이브러리에서 Qwen3.5, Qwen3.8, Gemma 4(12B 이상)는 256K, NVIDIA Nemotron 3 Nano 30B는 1M, Llama 4 Scout는 10M으로 표기됩니다. 2026년 이전에 공개된 모델은 대부분 128K에서 멈춥니다.

표는 모델 카드 또는 Ollama 라이브러리에 표기된 윈도우를 보여 줍니다. YaRN 같은 더 긴 컨텍스트로의 확장은 벤더가 문서화한 옵션이며 추가 설정과 메모리가 필요합니다.

Llama 4 Scout는 10M 토큰으로 표기되지만 모델 카드는 긴 컨텍스트 벤치마크를 128K 윈도우에서 보고하며, Ollama 다운로드는 67 GB입니다. Llama 4 Maverick은 1M으로 표기되지만 다운로드가 245 GB여서 서버급 하드웨어가 필요합니다.

Ollama 태그에 따라 윈도우 크기가 다를 수 있습니다. qwen3:8b와 qwen3:14b는 40K, qwen3:4b와 qwen3:30b는 256K로 표기됩니다. 계획을 세우기 전에 모델의 Ollama 페이지에서 컨텍스트 값을 확인하십시오.

긴 컨텍스트에 필요한 메모리는 모델 가중치와 KV 캐시의 합이며, KV 캐시는 윈도우뿐 아니라 아키텍처에도 좌우됩니다. KV 캐시는 컨텍스트 안의 모든 토큰에 대한 어텐션의 키와 값을 저장하며 가중치와 별도로 할당됩니다.

토큰당 KV 바이트 = 2(키와 값) × 풀 어텐션 레이어 수 × KV 헤드 수 × 헤드 차원 × 값당 바이트 수(기본 f16 캐시는 2). Llama 3.1 8B: 2 × 32 × 8 × 128 × 2 = 131,072바이트(128 KiB)/토큰이며, 128K 토큰에서 16 GiB로 다운로드 크기 4.9 GB의 세 배가 넘습니다.

최신 아키텍처는 이 비용을 줄입니다. Gemma 4는 대부분의 레이어에서 슬라이딩 윈도우 어텐션을 사용하고(12B, 26B, 31B는 1,024 토큰 윈도우), gpt-oss는 두 레이어 중 하나에서 사용하며(128 토큰), Qwen3.5와 Qwen3.8은 네 레이어 중 세 개에서 Gated DeltaNet 선형 어텐션을 사용하고, Nemotron 3 Nano는 52개 레이어 중 어텐션 레이어가 6개뿐입니다. 윈도우에 따라 늘어나는 것은 풀 어텐션 레이어뿐입니다.

아래 값은 각 모델의 공개된 구성에서 계산한 것이며 실측값이 아닙니다. 런타임은 연산 버퍼를 추가하고 캐시 구현도 다르므로 실제 사용량은 ollama ps로 확인하십시오.

KV 캐시를 양자화하면 크기가 줄어듭니다. Ollama 문서에 따르면 q8_0은 f16의 약 절반, q4_0은 약 4분의 1 메모리를 사용하며 q4_0은 정밀도가 작거나 중간 정도 떨어집니다.

먼저 메모리로 고르십시오. 필요한 컨텍스트에서의 가중치와 KV 캐시가 들어가야 하며, 운영체제와 런타임을 위해 2~3 GB의 여유가 필요합니다. 아래 추천은 위 표에서 계산한 것이며 품질 순위가 아닙니다. 긴 컨텍스트 정확도는 벤치마크하지 않았습니다.

표기된 윈도우는 아키텍처상의 상한이지 품질 보증이 아닙니다. Liu 등(2023)은 언어 모델이 관련 텍스트가 입력의 처음이나 끝에 있을 때 가장 정확하게 답하고 중간에 있을 때 덜 정확하다는 것을 확인했습니다. 이것이 "Lost in the Middle" 효과입니다.

RULER(Hsieh 등, 2024)는 모두 32K 토큰 이상을 표기한 17개 모델을 시험했으며, 32K에서 만족스러운 성능을 유지한 모델은 약 절반이었습니다. NoLiMa(Modarressi 등, 2025)는 128K 이상을 표기한 13개 모델을 시험했고, 32K에서 11개가 짧은 컨텍스트 점수의 50% 아래로 떨어졌으며 GPT-4o는 99.3%에서 69.7%로 하락했습니다.

이 연구들은 이 가이드의 대부분의 모델보다 앞선 것이므로, 경향에 대한 근거로 읽으시고 여기에 나온 모델의 점수로 읽지 마십시오. 직접 확인하려면 긴 프롬프트의 10%, 50%, 90% 위치에 사실 하나를 숨기고 다른 표현으로 질문한 뒤 32K, 64K, 128K에서 반복하십시오.

정확도가 중요하다면 핵심 지시와 사실을 프롬프트의 처음이나 끝에 두거나, 관련 구절만 가져오거나(아래 RAG 절 참조), 긴 문서를 겹치는 구간으로 나누어 처리하십시오.

Ollama는 VRAM에 따라 기본 컨텍스트를 정합니다. 24 GiB 미만에서는 4K 토큰, 24~48 GiB에서는 32K, 48 GiB 이상에서는 256K입니다. 현재 컨텍스트를 넘는 입력은 잘리므로 모델은 긴 문서의 시작 부분을 보지 못합니다.

컨텍스트는 Ollama 앱의 슬라이더, 환경 변수 OLLAMA_CONTEXT_LENGTH, ollama run 안의 /set parameter num_ctx, Modelfile, API의 num_ctx 옵션으로 설정할 수 있습니다. 결과는 ollama ps로 확인하십시오.

LM Studio에서는 My Models를 열고 모델의 톱니바퀴 아이콘을 눌러 컨텍스트 크기와 Flash Attention을 설정합니다. llama.cpp에서는 -c가 컨텍스트 크기(0이면 모델에서 불러옴), -fa가 Flash Attention, --cache-type-k와 --cache-type-v가 KV 캐시 양자화를 제어합니다.

Ollama는 Flash Attention이 켜져 있을 때만 KV 캐시를 양자화하며, 이 설정은 모든 모델에 전역으로 적용됩니다. OLLAMA_KV_CACHE_TYPE=q8_0은 f16의 약 절반, q4_0은 약 4분의 1 메모리를 사용합니다.

그럴 수 있습니다. Petrov 등(2023)은 토크나이저에 따라 같은 텍스트가 한 언어에서 다른 언어보다 최대 15배 많은 토큰을 필요로 할 수 있다는 것을 확인했습니다. 일본어, 중국어, 한국어, 아랍어 텍스트가 영향을 받는지는 모델의 토크나이저에 달려 있습니다.

페이지를 영어의 "토큰당 0.75단어" 규칙으로 토큰 수로 환산하지 마십시오. 사용할 모델로 토큰을 세십시오. ollama run <model> --verbose는 응답 뒤에 프롬프트의 토큰 수를 출력합니다.

토크나이저는 모델 계열마다 다르므로 윈도우 예산은 언어별, 모델 계열별로 잡으십시오.

답이 큰 문서 모음의 몇몇 구절에 있다면 RAG를, 모델이 하나로 이어진 문서 전체에 걸쳐 추론해야 한다면 긴 컨텍스트를 사용하십시오.

RAG(검색 증강 생성)는 가장 관련 있는 조각을 가져오며, 합계가 수천 토큰인 경우가 많아 프롬프트를 짧게 유지합니다. 긴 컨텍스트는 계약서의 조항이나 코드베이스의 호출 관계처럼 청크 분할로 끊길 수 있는 상호 참조를 유지합니다.

두 방식을 결합하는 구성도 많습니다. 조각이 아니라 섹션 전체를 가져와 32K~128K 윈도우에 넣는 방식입니다. 로컬 선택지는 최고의 로컬 RAG 도구, 방법론은 RAG 설명을 참조하십시오.