2026년 저사양 PC를 위한 가장 빠른 로컬 LLM: CPU 전용 가이드

하드웨어에 맞는 가장 빠른 모델은 무엇입니까?

어떤 모델을 사용해야 합니까?

• RAM 8 GB 노트북 (독립 GPU 없음): Phi-4-mini (3.8B) Q4_K_M — 초당 15–25 토큰, 코딩과 추론 처리. `ollama run phi4-mini`
• RAM 4 GB, 매우 오래된 PC: Qwen3 1.7B Q4_K_M — 초당 25–40 토큰, 최소 RAM에서 가장 빠른 응답. `ollama run qwen3:1.7b`
• RAM 16 GB, GPU 없음: Qwen3 8B Q4_K_M — 초당 8–15 토큰, 우수한 품질. `ollama run qwen3:8b`
• RAM 8 GB + Intel Iris iGPU: Qwen3 4B — Ollama가 iGPU를 사용하는 경우 추정 초당 12–20 토큰 (`ollama ps`를 실행해 PROCESSOR 열을 확인하십시오). `ollama run qwen3:4b`
• 긴 컨텍스트가 필요한 경우: Qwen3 4B (Ollama에서 256K 컨텍스트) 또는 Llama 3.2 3B (128K). Qwen3 1.7B와 8B는 40K로 표기되어 있습니다.
• 더 새로운 세대, 가장 작은 파일: Qwen3.5 0.8B (Ollama 기준 1.2 GB)는 Qwen3 1.7B (1.4 GB)보다 작아서 같은 CPU에서 품질은 낮지만 더 빠르게 동작할 것입니다. Qwen3.5 2B (2.7 GB)와 4B (3.3 GB)는 Phi-4-mini (2.5 GB)와 Qwen3 4B (2.5 GB)보다 파일이 크므로 더 느릴 것으로 예상됩니다. `ollama run qwen3.5:0.8b`. PromptQuorum은 이 가이드의 하드웨어에서 Qwen3.5의 속도를 측정하지 않았습니다.
• RAM 8 GB에서 시도해 볼 가치가 있음: Gemma 4 E2B (Google, 2026년 4월 출시). 유효 파라미터는 약 2.3B이지만 임베딩 테이블 때문에 Ollama 다운로드가 4.6 GB부터 시작하므로 1.5–2 GB 모델이 아닙니다. `ollama run gemma4:e2b`. 메모리 유형별 추정 속도는 CPU 전용 모델 가이드를 참고하십시오.
• RAM 티어별 권장 사항 및 발열 관리는 노트북에서 로컬 LLM 실행하는 방법을 참조하십시오.

하드웨어에 맞는 로컬 LLM은 무엇입니까?

저사양 하드웨어에서 GPU와 CPU 중 어느 것이 더 빠릅니까?

저사양 PC에서 소형 모델이 더 빠른 이유

• 1B–3B 모델: RAM 4–8 GB에 적합 → 가장 빠른 생성 → 허용 가능한 품질
• 7B 모델: 8 GB 시스템에서 경계선 → 메모리 압박으로 인해 느림 → 높은 품질
• 13B 이상 모델: RAM 16 GB 이상 필요 또는 과도한 스왑 → 저사양 PC에서 대화형 사용에 너무 느림

저사양 PC에서 로컬 LLM은 얼마나 빠릅니까?

• 3B 모델 → 초당 15–40 토큰 (구형 CPU: 10–15, 최신 듀얼 채널 DDR5 시스템: 30–40)
• 7B–8B 모델 → 초당 8–15 토큰 (듀얼 채널 RAM에서 Q4_K_M; 싱글 채널 RAM에서는 더 낮음)
• 나눗셈 한 번으로 내 PC의 속도를 추정하십시오. 토큰 하나를 생성할 때마다 모델 전체를 RAM에서 한 번 읽어야 하므로, 초당 토큰 수는 메모리 대역폭 ÷ 모델 파일 크기를 넘을 수 없습니다. 최대 대역폭 = 전송 속도(MT/s) × 8바이트 × 채널 수.
• 계산 예시 (예측이 아닌 상한값): 듀얼 채널 DDR4-3200은 3200 × 8 × 2 = 51.2 GB/s이며, 2.5 GB인 Phi-4-mini 파일로 나누면 최대 약 초당 20 토큰입니다. 듀얼 채널 DDR5-5600은 89.6 GB/s로, 같은 파일에서 최대 약 초당 36 토큰입니다. 싱글 채널 DDR4-3200 노트북은 25.6 GB/s로 최대 약 초당 10 토큰입니다. 실제 속도는 상한값보다 낮습니다.
• Intel N100 미니 PC는 메모리 채널이 하나입니다 (Intel 사양: DDR4-3200, DDR5-4800 또는 LPDDR5-4800). DDR4-3200에서 1.4 GB인 Qwen3 1.7B 파일의 상한은 약 초당 18 토큰이고, DDR5-4800에서는 약 초당 27 토큰입니다. N100은 이 가이드의 듀얼 채널 범위보다 낮게 나올 것으로 예상하십시오.
• 이는 클라우드 챗봇보다 느리지만 대화형 사용에는 충분합니다. 초당 25 토큰의 3B 모델은 500 토큰 응답을 20초에 생성합니다 — 코드 검토, 요약, 창작 글쓰기와 같은 비시간 중요 작업에는 허용 가능합니다.

양자화는 저사양 PC의 속도에 어떤 영향을 미칩니까?

CPU 전용 추론 속도를 높이는 방법은 무엇입니까?

• 두 메모리 채널 모두 채우기: 같은 RAM 모듈 두 개를 꽂으면 모듈 하나일 때보다 최대 메모리 대역폭이 두 배가 되며, 이는 CPU 전용 PC에서 가장 큰 단일 속도 향상입니다. 모듈이 하나뿐인 노트북과 미니 PC는 상한의 절반 속도로 동작합니다.
• 컨텍스트 창 줄이기: KV 캐시는 컨텍스트 길이에 따라 커집니다. `OLLAMA_CONTEXT_LENGTH=2048`을 설정하거나 (Ollama 기본값은 4096) `ollama run` 안에서 `/set parameter num_ctx 2048`을 사용하십시오.
• KV 캐시 양자화: `OLLAMA_FLASH_ATTENTION=1`과 `OLLAMA_KV_CACHE_TYPE=q8_0`을 함께 사용하면 f16 기본값에 비해 KV 캐시 메모리가 대략 절반으로 줄어, RAM 4 GB와 8 GB 머신에서 가장 큰 도움이 됩니다.
• 모델을 로드된 상태로 유지: Ollama는 기본적으로 5분 후 모델을 언로드합니다. `OLLAMA_KEEP_ALIVE=30m`을 설정하면 세션마다 파일을 다시 불러오지 않아도 됩니다.
• 메모리를 많이 쓰는 앱 닫기: 탭이 많은 브라우저는 모델을 스왑으로 밀어내어 생성 속도를 몇 배나 느리게 만듭니다.
• iGPU 테스트: 모델이 로드된 상태에서 `ollama ps`를 실행하십시오. PROCESSOR가 100% CPU로 표시되면 GPU 실행과 비교해 보고, iGPU가 불안정하면 `OLLAMA_VULKAN=0`을 설정하십시오.

RAM 2 GB에서 로컬 RAG를 실행할 수 있습니까?

• 채팅 모델: `ollama pull qwen3:0.6b` (523 MB, Ollama 기준 40K 컨텍스트). 여유 RAM이 조금 더 있다면 `qwen3.5:0.8b` (1.2 GB)가 더 새로운 소형 옵션입니다.
• 임베딩 모델: `ollama pull nomic-embed-text` (274 MB, 2K 컨텍스트 창). 각 청크가 2K 창에 들어가도록 문서를 수백 토큰 단위의 청크로 나누십시오.
• 적은 수의 청크만 검색: 가장 일치하는 상위 2–3개 청크만 채팅 모델에 전달하십시오. 청크가 하나 늘 때마다 컨텍스트가 길어지고 KV 캐시가 커집니다.
• 컨텍스트를 짧게 유지: `OLLAMA_CONTEXT_LENGTH=2048`을 설정하여 KV 캐시를 작게 유지하십시오.
• 답변 확인: 0.6B 모델은 검색된 구절에서 사실 하나를 뽑아내는 데는 능숙하지만 여러 단계의 추론에는 약하므로, 중요한 답변은 원문 구절과 대조하십시오.
• RAM 2 GB가 너무 빠듯할 때: RAM 4 GB에서는 Qwen3 1.7B (1.4 GB)로, RAM 8 GB에서는 Phi-4-mini로 올리고 같은 임베딩 모델을 유지하십시오.

이 모델들은 얼마나 빠릅니까? 추정 속도

• Intel N100 미니 PC (싱글 채널 RAM, RAM 4 GB 티어) + Qwen3 1.7B Q4_K_M: DDR4-3200에서 최대 약 초당 18 토큰, DDR5-4800에서 약 초당 27 토큰 (대역폭 상한). `ollama run qwen3:1.7b`
• 최신 듀얼 채널 i5/Ryzen 5 (RAM 4 GB 티어) + Qwen3 1.7B Q4_K_M: 추정 초당 25–40 토큰. `ollama run qwen3:1.7b`
• Core i5-1235U급 노트북 (RAM 8 GB) + Phi-4-mini Q4_K_M: LPDDR5에서 추정 초당 15–22 토큰, DDR4 노트북은 더 낮게 나옵니다. `ollama run phi4-mini`
• Ryzen 5 5600G급 데스크톱 (RAM 8 GB) + Qwen3 4B Q4_K_M: 추정 초당 15–20 토큰 (듀얼 채널 DDR4-3200의 상한은 약 20)이며, iGPU도 같은 RAM 대역폭을 공유하므로 이보다 높게 기대하지 마십시오.
• Intel Iris Xe급 노트북 (RAM 8 GB) + Qwen3 4B Q4_K_M: 추정 초당 12–18 토큰. `ollama run qwen3:4b`
• Ryzen 7 7700X급 데스크톱 (RAM 16 GB, 듀얼 채널 DDR5) + Qwen3 8B Q4_K_M: 추정 초당 8–13 토큰. `ollama run qwen3:8b`
• Iris Xe급 노트북 (RAM 16 GB) + Llama 3.2 3B Q4_K_M: 추정 초당 20–30 토큰. `ollama run llama3.2:3b`

로컬 LLM에서 실제로 "빠르다"는 것은 무엇입니까?

• 초당 10 토큰 미만 → 고장난 것처럼 느껴집니다. 눈에 띄는 멈춤과 함께 단어가 하나씩 나타납니다. 대화형 채팅에는 사용 불가.
• 초당 15–25 토큰 → 허용 가능. 대부분의 사용자에게 읽기 가능한 속도. Q&A, 요약, 코딩 도움에 적합.
• 초당 30 토큰 이상 → 원활함. 실제 어시스턴트처럼 느껴집니다. 모든 대화형 작업에 편안합니다.
• 초당 60 토큰 이상 → 즉각적. 읽는 것보다 빠릅니다. 실시간 자동 완성 및 빠른 반복에 이상적.

저사양 PC에서 피해야 할 것들

• 13B 이상 모델을 실행하지 마십시오 — RAM 한계를 초과합니다. Q4에서 13B 모델은 파일만으로도 대략 8 GB가 필요하여, 운영체제까지 계산하면 8 GB PC가 담을 수 있는 범위를 넘습니다. RAM 16 GB에서는 8B 이하, RAM 8 GB에서는 4B 이하로 유지하십시오.
• Q8 양자화를 피하십시오 — 최소한의 품질 향상에 비해 더 느립니다. Q8은 Q4의 파일 크기를 대략 두 배로 만들며, 대역폭이 제한된 CPU에서는 파일이 클수록 초당 토큰 수가 줄어듭니다. 4 GB 시스템에서 Q8은 비실용적이며, 8 GB 시스템에서도 Q4가 최적입니다. Q4가 메모리 부족을 일으킬 때만 Q3가 고려할 가치 있는 트레이드오프입니다.
• 실시간 자동 완성 성능을 기대하지 마십시오. CPU에서 초당 3 토큰으로 50 토큰을 생성하는 데 약 17초가 걸립니다. 대화형 자동 완성에는 훨씬 높은 속도가 필요합니다. 저사양 CPU의 로컬 LLM은 배치 채팅, 초안 작성, 검토에는 적합하지만 실시간 자동 완성이나 타이핑 중 코드 생성에는 적합하지 않습니다.
• CPU 전용 추론을 프로덕션 챗봇에 사용하지 마십시오. 내부 도구, 프로토타입, 오프라인 배치 작업에는 허용 가능합니다. 저사양 CPU는 한 번에 한 명의 사용자에게 낮은 속도로 응답하는 반면, 호스팅 API는 많은 사용자로 확장됩니다. 속도가 중요한 상황이 아닌 개인정보 보호가 중요하거나 오프라인 시나리오에서 로컬 추론을 사용하십시오.

일반적인 실수

• 실수: RAM 모듈 하나만 사용. 문제: 메모리 채널이 하나면 최대 대역폭이 절반이 되어 같은 모델이 대략 절반의 속도로 생성됩니다. 해결책: 더 빠른 CPU를 구매하기 전에 같은 모듈 두 개를 설치하십시오(또는 듀얼 채널 미니 PC를 구매하십시오).
• 실수: CPU 모델만으로 속도를 판단. 문제: 느린 싱글 채널 DDR4의 최신 CPU는 듀얼 채널 DDR5의 구형 CPU보다 느릴 수 있습니다. 토큰 생성은 메모리 대역폭에 의해 제한되기 때문입니다. 해결책: RAM 속도와 채널 수를 비교한 다음 `ollama run <model> --verbose`에서 실제 수치를 확인하십시오.
• 실수: 7B를 4GB에 넣기 위해 Q2로 양자화. 문제: Q2 양자화는 추론 중 KV 캐시 오버헤드로 인한 메모리 부족 충돌을 자주 일으키며 출력 품질도 급격히 떨어집니다. 해결책: 대신 Q4의 3B 모델을 사용하십시오.
• 실수: 컨텍스트 창을 크게 방치. 문제: 긴 컨텍스트는 KV 캐시를 키워 소형 머신을 스왑으로 밀어 넣습니다. 해결책: 긴 문서가 필요하지 않다면 `OLLAMA_CONTEXT_LENGTH=2048`을 설정하십시오.
• 실수: 모델에 잘못된 Ollama 슬러그 사용. 문제: `ollama run phi`는 Phi-4-mini가 아닌 Phi-2를 불러옵니다. 해결책: 현재의 Phi 소형 모델에는 `ollama run phi4-mini`를 사용하십시오. 정확한 모델 태그는 항상 ollama.com/library를 확인하십시오.

저사양 PC의 로컬 LLM: 지역별 상황

저사양 PC에서 로컬 LLM 실행에 관한 자주 묻는 질문

관련 자료

• 로컬 LLM을 위한 최고의 예산 GPU — 13B–70B 모델을 위한 GPU 권장 사항.
• VRAM은 얼마나 필요합니까? — 모든 모델 크기 및 양자화에 대한 VRAM 요구 사항 계산.
• LLM 양자화 설명 — Q4, Q3, Q2 양자화 트레이드오프에 대한 심층 분석.
• 노트북에서의 로컬 LLM — MacBook Air, Windows 노트북 또는 Chromebook에서 추론 최적화.
• 2026년 최고의 입문자 로컬 LLM 모델 — 어떤 하드웨어에서든 신규 사용자를 위한 권장 시작 모델.
• 로컬 LLM 하드웨어 가이드 — 2026년 모델 크기별 전체 하드웨어 요구 사항.
• 최고의 CPU 전용 LLM — GPU가 전혀 없는 머신을 위한 순위별 추천, 모델별 추정 tok/s 포함.
• 소형 로컬 LLM 모델 — 품질 기준으로 순위를 매긴 4B 미만 티어, 여전히 쓸 만한 가장 가벼운 모델용.

출처

• Phi-4 Mini 모델 카드 — Microsoft Research. 개발사가 보고한 벤치마크 결과; 2025년 출시.
• Ollama 라이브러리: Qwen3 — qwen3:0.6b, 1.7b, 4b, 8b의 파일 크기와 컨텍스트 길이 (2026-10-23 확인).
• Ollama 라이브러리: Qwen3.5 — qwen3.5:0.8b, 2b, 4b의 파일 크기 (2026-10-23 확인).
• Ollama 라이브러리: Gemma 4 — gemma4:e2b 다운로드 크기와 128K 컨텍스트 (2026-10-23 확인).
• Ollama 라이브러리: Phi-4-mini — 2.5 GB, 128K 컨텍스트 (2026-10-23 확인).
• Ollama 라이브러리: nomic-embed-text — 274 MB 임베딩 모델, 2K 컨텍스트 창 (2026-10-23 확인).
• Ollama 문서: GPU 지원 — Vulkan, ROCm 및 OLLAMA_VULKAN을 포함한 GPU 선택 변수.
• Ollama 문서: FAQ — OLLAMA_CONTEXT_LENGTH, OLLAMA_KV_CACHE_TYPE, OLLAMA_FLASH_ATTENTION, OLLAMA_KEEP_ALIVE 및 `ollama ps`.
• Intel Processor N100 사양 — 메모리 채널 하나; DDR4-3200, DDR5-4800, LPDDR5-4800.
• Gemma 4 발표 관련 보도 — 출시일 2026년 4월 2일, 유효 파라미터 약 2.3B, 전체 약 5.1B (제3자 요약).
• llama.cpp 빌드 문서 — CPU 백엔드와 빌드 옵션.