추측 디코딩이란 무엇입니까?
빠른 답변
추측 디코딩은 작은 드래프트 모델과 더 큰 타깃 모델을 짝지어 사용합니다. 드래프트 모델이 여러 토큰을 미리 제안하고, 타깃 모델은 토큰마다 순차적으로 검증하는 대신 하나의 병렬 순전파(forward pass)에서 모두 검증하며, 드래프트의 제안이 채택되면 생성 속도가 빨라집니다.
- ▸작은 드래프트 모델이 메인 모델보다 먼저 여러 토큰을 제안합니다.
- ▸더 큰 타깃 모델이 제안된 토큰들을 하나의 병렬 패스에서 검증합니다.
- ▸출력 품질은 타깃 모델과 정확히 동일합니다 — 추측 디코딩은 생성되는 내용이 아니라 속도만 바꿉니다.
업데이트: 2026년 7월 14일
핵심 요점
- ✓작은 드래프트 모델이 토큰을 미리 제안하고, 더 큰 타깃 모델이 하나의 병렬 패스에서 이를 검증합니다
- ✓출력 품질은 타깃 모델 단독 실행과 동일합니다 — 속도만 달라집니다
- ✓코드처럼 예측 가능하고 반복적인 구조의 텍스트에서는 드래프트 모델의 정답률이 높아져 속도 향상이 가장 큽니다
- ✓드래프트 모델은 타깃 모델과 동일한 토크나이저와 어휘를 공유해야 합니다
작동 방식
타깃 모델보다 훨씬 작고 빠른 드래프트 모델이 짧은 후보 토큰 시퀀스를 생성합니다. 그런 다음 타깃 모델이 이 시퀀스 전체를 하나의 순전파에서 평가하여, 자신이 단독으로 생성했을 결과와 일치하는 토큰은 채택하고 나머지(첫 불일치 이후 생성된 모든 것 포함)는 폐기합니다.
타깃 모델에서 여러 토큰을 병렬로 검증하는 비용은 토큰 하나를 순차적으로 생성하는 비용과 거의 같기 때문에, 채택된 제안은 최종 출력을 바꾸지 않으면서도 그대로 속도 향상으로 이어집니다. 최종 결정권은 항상 타깃 모델에 있으며, 드래프트 모델의 잘못된 추측은 그것을 생성하는 데 든 (짧은) 시간만 소모할 뿐 출력에 채택되는 일은 없습니다.
추측 디코딩이 가장 도움이 되는 경우
코드, 구조화된 데이터 등 예측 가능한 텍스트를 생성할 때 추측 디코딩을 사용하십시오. 드래프트 모델의 제안이 높은 비율로 채택되어 속도 향상이 가장 큽니다. 프롬프트 처리 속도가 아니라 생성 속도가 이미 병목인 경우에도 사용하십시오. 추측 디코딩은 토큰 단위 생성 단계를 구체적으로 가속하기 때문입니다.
개방형 소설 쓰기나 브레인스토밍처럼 매우 창의적이고 예측하기 어려운 텍스트를 생성할 때는 추측 디코딩을 피하십시오. 드래프트 모델의 제안이 채택되는 빈도가 낮아져 속도 향상이 줄어들며, 최악의 경우 드래프트 모델의 추가 오버헤드가 이득을 상쇄할 수 있습니다. 같은 계열의 호환 가능한 소형 모델을 드래프트 모델로 사용할 수 없는 경우에도 피하십시오.
드래프트 모델 설정하기
드래프트 모델은 타깃 모델과 동일한 토크나이저와 어휘를 공유해야 합니다 — 서로 다른 계열의 모델(또는 버전 간 어휘가 바뀐 동일 모델의 다른 크기)을 조합하면 작동하지 않습니다. 가장 일반적인 구성은 타깃 모델과 같은 계열의 더 작은 모델을 사용하는 것입니다(예: 같은 계열의 13B급 타깃 모델에 1B급 모델을 드래프트로 사용).
llama.cpp를 포함한 여러 로컬 추론 도구가 추측 디코딩을 기본적으로 지원합니다 — 설정은 보통 실행 시 타깃 모델과 드래프트 모델을 함께 지정하기만 하면 되며, 프롬프트를 작성하는 방식은 바꿀 필요가 없습니다.