로컬 LLM의 초당 토큰 수를 벤치마킹하는 가장 좋은 도구는 무엇입니까?

언어 선택:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

이 페이지에는 타사 제품에 대한 참조 링크가 포함되어 있습니다. PromptQuorum은 어떤 제휴 프로그램에도 등록되어 있지 않습니다 — 이는 수수료가 발생하지 않는 일반 링크입니다. 링크 클릭 및 이후 단계는 전적으로 귀하의 책임입니다. 이 링크는 PromptQuorum의 어떠한 보증이나 검증을 나타내지 않습니다.

빠른 답변

llama.cpp에 포함된 llama-bench가 로컬 LLM의 추론 속도를 벤치마킹하는 가장 좋은 도구입니다. 고정된 컨텍스트 길이와 양자화 수준에서 프롬프트 처리 속도와 생성 속도를 별도로 보고하여, 서로 다른 하드웨어 간 결과를 비교할 수 있게 합니다.

▸llama-bench: 가장 엄격한 옵션으로, 프롬프트 처리 속도와 생성 속도를 분리하고 컨텍스트 길이와 양자화를 제어합니다.
▸Ollama --verbose: 일반적인 채팅 세션에서 대략적인 초당 토큰 수를 가장 빠르게 얻는 방법이지만 llama-bench보다 제어 수준이 낮습니다.
▸서드파티 GUI(LM Studio에 내장된 통계 등)는 빠르게 확인하기에는 편리하지만, 실행 간 동일한 수준의 제어는 제공하지 않습니다.

업데이트: 2026년 7월 14일

Tool Comparisons기초 이해

핵심 요점

✓llama-bench는 가장 엄격한 벤치마킹 도구로, 고정된 설정에서 프롬프트 처리 속도와 생성 속도를 분리합니다
✓Ollama의 --verbose 플래그는 일반 채팅 실행에서 빠르고 대략적인 초당 토큰 수를 제공하며, 간단한 확인에 유용합니다
✓실행 간에는 항상 컨텍스트 길이와 양자화 수준을 고정해야 하며, 그렇지 않으면 비교가 의미가 없습니다
✓여러 번 실행하여 결과를 평균화하십시오. 단일 실행은 열 스로틀링과 콜드 스타트 로딩의 영향을 받습니다

최선의 선택: llama-bench

llama-bench는 재현 가능하고 하드웨어 간 비교가 가능한 초당 토큰 수치가 필요한 모든 사람에게 적합한 기본 선택입니다. llama.cpp 빌드의 일부로 제공되며, 명령줄에서 실행되고, 각 테스트마다 두 가지 별도 수치를 보고합니다. 프롬프트 처리 속도(모델이 입력을 읽는 속도)와 생성 속도(새 토큰을 생성하는 속도)입니다. 이 두 수치는 부하 상태에서 매우 다르게 동작하므로, 이를 혼합해서 보여주는 도구는 전체 그림을 제공하지 못합니다.

Ollama의 `--verbose` 플래그는 빠른 확인을 위한 실용적인 대안입니다. `ollama run --verbose`를 실행하면 별도의 벤치마크 하네스 없이 일반 채팅 응답 끝에 초당 토큰 수치가 출력됩니다. 편리하지만, 이 수치는 반복적인 고정 컨텍스트 실행이 아니라 단일한 제어되지 않은 생성에서 나온 것이므로, 더 잡음이 많고 서로 다른 두 하드웨어를 비교하는 데는 적합하지 않습니다.

LM Studio 및 기타 데스크톱 프런트엔드도 채팅 UI에서 이와 비슷한 실시간 초당 토큰 수치를 보여줍니다. 이미 해당 도구를 사용하는 중에 빠르게 눈으로 확인하는 용도로는 사용할 수 있지만, 하드웨어 구매 결정에는 의존하지 마십시오. 벤치마크 결과를 신뢰할 수 있게 만드는 실행 횟수나 컨텍스트 길이 제어를 제공하지 않습니다.

벤치마킹 도구에서 확인해야 할 사항

신뢰할 수 있는 로컬 LLM 벤치마킹 도구는 실행 간에 컨텍스트 길이, 양자화 수준, 프롬프트 내용을 일정하게 유지하며, 프롬프트 처리 속도와 토큰 생성 속도를 별도의 수치로 보고합니다. 이러한 제어가 없으면 단일 실행에서 얻은 "초당 토큰 수" 수치는 동일한 설정이 더 긴 프롬프트나 다른 양자화에서 어떻게 동작할지에 대해 거의 아무것도 알려주지 않습니다.

구매 전에 GPU를 비교하거나, 양자화 수준이 품질 저하를 감수할 가치가 있는지 평가하거나, 성능 수치를 공개적으로 보고하는 경우에는 벤치마킹 도구를 사용하십시오. 모델이 채팅에 사용 가능한지에 대한 대략적인 느낌만 필요하다면 정식 벤치마크를 건너뛰고 실시간 초당 토큰 카운터만 확인해도 됩니다.

피해야 할 것: 컨텍스트 길이나 양자화 수준이 함께 제시되지 않은 단일 실행 수치는 아무것도 비교할 수 없습니다. 피해야 할 것: 프롬프트 처리 속도와 생성 속도가 컨텍스트 길이와 하드웨어에 따라 다르게 확장되므로, 하나로 합쳐진 초당 토큰 수치만 보고하는 도구.

벤치마크와 함께 사용할 하드웨어

업그레이드 여부를 결정하기 위해 벤치마킹하는 경우, 동일한 모델 파일과 양자화를 사용하여 현재 GPU와 후보 GPU에서 동일한 llama-bench 명령을 실행한 다음, 두 프롬프트 처리 및 생성 수치를 나란히 비교하십시오.

공개: 이 글에는 제휴 링크가 포함되어 있습니다. 이 링크를 통해 구매하시면 추가 비용 없이 저희가 수수료를 받을 수 있습니다.

Amazon에서 16GB VRAM GPU 가격 확인하기제품 링크 · 공개됨Amazon에서 전력 측정기 가격 확인하기(와트당 초당 토큰 수 비교에 유용)제품 링크 · 공개됨

자주 묻는 질문

벤치마크 결과가 실행마다 다른 이유는 무엇입니까?▾

열 스로틀링, 백그라운드 프로세스, 모델의 콜드 스타트 로딩이 모두 단일 실행 결과에 영향을 미칩니다. 하나의 샘플을 신뢰하는 대신 여러 번 실행한 결과를 평균화하십시오(llama-bench는 반복 실행을 기본적으로 지원합니다).

llama-bench는 GGUF 모델에서만 작동합니까?▾

예 — llama-bench는 GGUF 형식을 중심으로 구축된 llama.cpp 툴체인의 일부입니다. GPTQ 또는 AWQ 모델을 벤치마킹하려면 해당 형식을 로드하는 서빙 프레임워크에 연결된 다른 도구(예: vLLM의 내장 벤치마킹 스크립트)가 필요합니다.

프롬프트 처리 속도와 생성 속도 중 어느 것이 더 중요합니까?▾

사용 사례에 따라 다릅니다. 긴 문서 요약은 입력을 읽는 작업이 대부분이므로 프롬프트 처리 속도가 지배적입니다. 대화형 채팅은 짧은 프롬프트 이후 모델이 대부분의 출력을 토큰 단위로 생성하므로 생성 속도가 지배적입니다.

온라인에서 찾은 초당 토큰 수치를 제 하드웨어와 비교할 수 있습니까?▾

컨텍스트 길이, 양자화 수준, 모델 크기가 정확히 일치하는 경우에만 가능합니다. 이러한 세부 정보가 함께 제시되지 않은 초당 토큰 수치는 사용자의 설정과 비교할 수 없습니다. 포럼이나 소셜 미디어의 출처가 불명확한 수치는 벤치마크가 아니라 대략적인 일화로 취급하십시오.