LLM이 실제로 작동하는 방식: 토큰, 어텐션, 추론

LLM(대규모 언어 모델)은 입력 토큰 시퀀스가 주어졌을 때 다음으로 가장 확률이 높은 토큰을 예측하도록 학습된 트랜스포머 기반 신경망입니다 — 데이터베이스, 검색 엔진, 또는 추론 시스템이 아닙니다. 모델은 학습 중 웹 페이지, 책, 코드 및 기타 텍스트에서 수천억 개의 단어를 처리함으로써 토큰 간의 통계적 관계를 학습합니다.

프롬프트를 입력하면 모델은 텍스트를 숫자 토큰 ID 시퀀스로 변환하고, 이를 수십 개의 트랜스포머 레이어를 통해 전달한 뒤, 전체 어휘(일반적으로 50,000–100,000개 토큰)에 대한 확률 분포를 출력합니다. 그 분포에서 토큰 하나를 샘플링하여 시퀀스에 추가하고, 정지 토큰이 생성되거나 출력 한계에 도달할 때까지 이 과정을 반복합니다.

이 아키텍처는 사용자들을 혼란스럽게 하는 여러 행동을 설명합니다: LLM이 그럴듯하지만 거짓된 사실을 "환각"하는 이유(검증된 진실이 아닌 확률적으로 그럴듯한 텍스트를 예측하기 때문), 산술 계산에 실패할 수 있는 이유(실제 계산이 아닌 토큰 패턴 때문), 그리고 프롬프트를 바꾸면 출력이 달라지는 이유(서로 다른 토큰 시퀀스가 서로 다른 확률 분포를 유발하기 때문)입니다.

**LLM이 텍스트를 처리하기 전에 먼저 정수 토큰 ID 시퀀스로 변환해야 합니다 — 이 과정을 토크나이제이션이라고 합니다.** GPT-5.5는 자주 등장하는 서브워드 단위로 텍스트를 분할하는 BPE(Byte Pair Encoding)를 사용합니다. Claude Opus 4.8과 Gemini 3.1 Pro도 유사한 서브워드 토크나이제이션 방식을 사용합니다.

토크나이제이션은 언어에 따라 다릅니다. 영어 텍스트는 평균적으로 단어 0.75개당 토큰 1개에 해당합니다. 중국어와 일본어는 단어 0.5개당 토큰 1개에 해당합니다 — 동일한 문서가 영어보다 중국어로 작성될 때 약 두 배의 토큰이 필요하며, 이는 API 비용과 컨텍스트 윈도우 사용에 직접적인 영향을 미칩니다.

트랜스포머 아키텍처는 셀프 어텐션이라는 메커니즘을 사용하여 각 토큰이 자신의 표현을 계산할 때 시퀀스의 다른 모든 토큰에 얼마나 "주의를 기울여야" 하는지를 결정합니다. 각 토큰에 대해 모델은 쿼리(Q), 키(K), 값(V)이라는 세 개의 벡터를 계산하고, Q와 K의 내적으로 어텐션 점수를 계산한 뒤 소프트맥스로 스케일링 및 정규화합니다.

멀티헤드 어텐션은 이 과정을 여러 "헤드"에서 병렬로 실행합니다(GPT-5.5는 가장 큰 레이어에서 96개의 어텐션 헤드를 사용합니다). 각 헤드는 서로 다른 관계 패턴을 학습합니다. 일부 헤드는 구문적 관계(주어-동사), 다른 헤드는 의미적 유사성, 또 다른 헤드는 공참조(대명사를 명사와 연결)에 특화됩니다.

핵심적인 실제 시사점은 "중간 손실" 효과입니다. Stanford University의 Liu et al.(2023) 연구에 따르면 LLM은 긴 컨텍스트의 중간 부분에 있는 정보를 체계적으로 과소 평가합니다. 2,000 토큰을 초과하는 프롬프트의 경우 중요한 지시사항을 시스템 프롬프트(처음)에 배치하고 가장 중요한 제약 조건을 사용자 메시지 끝에 반복하십시오.

LLM 학습은 두 가지 뚜렷한 단계로 이루어집니다: 사전 학습(원시 텍스트에서 언어 패턴 학습)과 학습 후 정렬(인간 피드백으로 행동 형성). 이 두 단계는 서로 다른 능력을 만들어 내며, 유사한 벤치마크 점수에도 불구하고 서로 다른 연구소의 모델이 왜 다르게 행동하는지를 설명합니다.

사전 학습 중에 모델은 대규모 코퍼스를 처리합니다 — Llama 3.3은 약 15조 개의 토큰으로 학습되었으며, GPT-4는 약 1–2조 개의 토큰으로 추정됩니다. 목표는 단순합니다: 다음 토큰을 예측하는 것입니다. 명시적인 지식은 저장되지 않으며, 모든 정보는 통계적 패턴으로 모델 가중치에 인코딩됩니다.

학습 후 정렬 — 일반적으로 인간 피드백 강화 학습(RLHF) 또는 그 변형(RLAIF, DPO) — 은 모델을 유용한 어시스턴트로 만들어 줍니다. 인간 평가자가 유용성, 무해성, 정직성을 기준으로 출력을 평가합니다. 그 평가를 바탕으로 보상 모델이 학습되고, 기반 LLM은 보상을 최대화하도록 파인튜닝됩니다. RLHF는 거절 행동, 어조, 안전 가이드라인을 결정하며 — 기본 아키텍처가 아닙니다.

추론 중에 모델은 토큰 단위로 출력을 생성합니다 — 전체 어휘에 대한 확률 분포를 계산하고 사용자가 제어하는 디코딩 매개변수에 따라 샘플링합니다. 가장 중요한 세 가지 매개변수는 온도, top-p(핵 샘플링), 최대 토큰 수입니다.

컨텍스트 윈도우는 모델이 단일 추론 호출에서 처리할 수 있는 최대 토큰 수입니다 — 시스템 프롬프트, 대화 기록, 문서, 현재 사용자 메시지를 모두 합한 것입니다.** 세션 간에는 아무것도 유지되지 않으며, 모델은 매번 새롭게 시작합니다.

컨텍스트 윈도우 크기는 모델에 따라 크게 다르며, 어떤 사용 사례가 실용적인지에 직접적으로 영향을 미칩니다:

LLM 아키텍처를 이해하면 프롬프트 품질이 직접적으로 향상됩니다 — 토큰 위치, 온도, 컨텍스트 윈도우 활용도, 출력 길이는 모두 출력 신뢰성에 측정 가능한 영향을 미칩니다.

LLM에 관한 이러한 오해들은 잘못 설계된 프롬프트와 잘못된 기대로 이어지는 경우가 많습니다:

PromptQuorum에서 테스트한 결과 — GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro에 동일한 창의적 브리프를 온도 0과 온도 0.9에서 각각 전송했을 때, Claude Opus 4.8이 온도 간 출력 편차가 가장 작고 Gemini 3.1 Pro가 가장 크다는 것이 나타났습니다. 온도 0.9에서 Gemini 3.1 Pro는 온도 0 대비 평균 34% 더 긴 출력을 생성했습니다.

PromptQuorum의 멀티 모델 디스패치를 사용하면 지정된 온도에서 모든 사용 가능한 모델에 동시에 프롬프트를 실행하고 출력을 나란히 비교할 수 있습니다 — 모델 기본값에 의존하는 대신 특정 과제에 맞는 온도 설정을 실용적으로 조정할 수 있습니다.

LLM의 아키텍처와 성능은 학습 데이터 구성, 토크나이제이션 전략, 규제 제약 등에 따라 지역별로 크게 다릅니다. 이러한 차이를 이해하는 것은 모델을 전 세계적으로 배포하는 팀에게 매우 중요합니다.

Qwen 3은 CJK(중국어, 일본어, 한국어) 스크립트에 대한 뛰어난 토크나이제이션 효율성을 달성합니다** — 만다린 중국어에서 문자당 약 0.3 토큰을 사용하는 반면 GPT-5.5는 문자당 0.5 토큰을 사용합니다. 이 40% 토큰 감소는 아시아 언어 애플리케이션의 API 비용과 지연 시간을 직접적으로 줄여 줍니다. Qwen의 학습 데이터는 20%가 CJK 콘텐츠로 구성되어 있어, 문자 대 의미 밀도가 가장 높은 스크립트에 맞게 토크나이저를 최적화합니다.

Mistral Small과 Mistral Large는 유럽 배포를 위해 명시적으로 설계되었으며, 학습 데이터는 GDPR, 프랑스 AI 법, 데이터 보존 및 모델 투명성에 관한 EU 규정을 준수하도록 필터링되었습니다. 필터링되지 않은 웹 데이터를 주로 학습에 사용하는 모델과 달리, Mistral은 데이터 출처를 문서화하고 EU 시민의 개인 정보를 학습에서 제외시켜, 유럽의 규제 산업(은행, 의료, 법률 기술)에서 기본 선택지가 되었습니다.

DeepSeek의 아키텍처는 학습 구성을 반영합니다: 사전 학습 데이터의 70%가 중국어와 영어, 15%가 코드, 15%가 기타 언어입니다. 이 비율은 중국어 언어 유창성과 코드 생성 속도에 편향된 모델을 만들어 내며, 저자원 언어에서는 성능이 크게 떨어집니다. 토큰 분포와 어텐션 패턴은 영어가 아닌 만다린 중국어의 빈도 패턴에 최적화되어 있습니다.