Qwen 모델 패밀리 개요
Qwen 라인업은 이제 다섯 가지 실용적인 선택지를 제공합니다: 플래그십 Qwen 3.6 27B, Qwen3(이전 세대, 여전히 널리 배포됨), 범용 추론용 Qwen2.5, Qwen2.5-Coder, 비전용 Qwen2.5-VL — 각각 다양한 크기 옵션을 제공합니다. 모두 Alibaba의 Qwen 팀이 Hugging Face에 공개한 오픈 웨이트 모델입니다. Qwen 3.6은 27B 밀집 모델과 35B-A3B 전문가 혼합 모델(`qwen3.6:35b`)로 제공되며, 소형 하드웨어에서는 Qwen3.5 세대(`qwen3.5:4b`, `qwen3.5:9b`)가 Qwen3 뒤를 잇고, Qwen3-VL(`qwen3-vl:8b`)이 더 새로운 비전 세대입니다. 라이선스는 각 모델 카드에서 확인하십시오.
먼저 하위 패밀리를 선택한 다음 VRAM에 맞는 크기를 고르십시오. 하위 패밀리를 혼합해 사용하는 것도 일반적입니다: 코드 완성에는 Qwen2.5-Coder 14B를, 문서 요약에는 Qwen3 8B 또는 Qwen 3.6 27B를 사용하십시오.
하위 패밀리 | 제공 크기 | 주요 용도 | Ollama 태그 접두사 |
|---|---|---|---|
| Qwen 3.6(플래그십) | 27B 덴스, 35B-A3B MoE | 범용 추론 및 코딩(`qwen3.6:27b-coding`), 256K 컨텍스트 | qwen3.6: |
| Qwen3 (이전 세대) | 0.6B, 1.7B, 4B, 8B, 14B, 32B | 범용 추론, 사고 모드, 다국어, 에이전트 작업 | qwen3: |
| Qwen2.5 | 7B, 14B, 32B, 72B | 범용 추론, 중국어/다국어 작업, RAG | qwen2.5: |
| Qwen2.5-Coder | 7B, 14B, 32B | 코드 생성, 디버깅, HumanEval, SWE-bench | qwen2.5-coder: |
| Qwen2.5-VL | 3B, 7B, 32B, 72B | 문서 OCR, 이미지 Q&A, CJK 텍스트 추출 | qwen2.5vl: |
Qwen 3.6 27B(2026년 4월 출시)는 새로운 플래그십 모델입니다 — 256K 컨텍스트 창을 갖춘 밀집 모델로 `ollama run qwen3.6:27b`를 통해 Q4_K_M 기준 약 17GB의 VRAM으로 실행됩니다. Qwen2.5는 2026년 중반 기준 가장 폭넓게 검증된 패밀리로, Ollama와 GGUF 지원 범위가 가장 넓습니다. 더 넓은 모델 비교는 2026년 최고의 로컬 LLM을 참조하십시오.
모델 크기별 하드웨어 요구사항
먼저 VRAM 티어를 결정한 다음, 적합한 최대 크기의 Qwen 모델을 선택하십시오. 아래 수치는 모두 표준 양자화인 Q4_K_M을 기준으로 하며, Ollama와 LM Studio에서 최고의 크기 대비 품질 비율을 제공합니다.
모델 | VRAM | 최소 GPU | Apple Silicon | 속도 (GPU) |
|---|---|---|---|---|
| Qwen3 8B Q4_K_M | 5.5 GB | RTX 3060 12 GB, RTX 4060 | M1/M2 8 GB | ~57 tok/s (RTX 3060 12 GB) |
| Qwen2.5-Coder 7B Q4_K_M | 5.5 GB | RTX 3060 12 GB, RTX 4060 | M1/M2 8 GB | ~55 tok/s (RTX 3060 12 GB) |
| Qwen2.5-VL 7B (Ollama) | 6.0 GB | RTX 3060 8 GB, RTX 4060 | M1/M2 16 GB | — |
| Qwen2.5 14B Q4_K_M | 9.5 GB | RTX 4070 12 GB | M2 Pro 16 GB | ~38 tok/s (RTX 4070) |
| Qwen2.5-Coder 14B Q4_K_M | 9.5 GB | RTX 4070 12 GB | M2 Pro 16 GB | ~36 tok/s (RTX 4070) |
| Qwen2.5 32B Q4_K_M | 20.5 GB | RTX 3090 24 GB | M3 Max 48 GB | ~28 tok/s (RTX 4090) |
| Qwen2.5-Coder 32B Q4_K_M | 20.5 GB | RTX 3090 24 GB | M3 Max 48 GB | ~27 tok/s (RTX 4090) |
| Qwen 3.6 27B Q4_K_M | ~17 GB | RTX 4090 24 GB | M3 Max 36 GB | ~24 tok/s (RTX 4090) |
| Qwen2.5-72B Q4_K_M | 46 GB | 2× RTX 3090 (48 GB) | M2 Ultra 64 GB | ~12 tok/s (2×RTX 4090) |
VRAM 수치는 Q4_K_M 기준의 근사치입니다. Ollama 라이브러리의 다운로드 크기는 qwen3:8b 5.2 GB, qwen3:14b 9.3 GB, qwen3:32b·qwen2.5:32b 20 GB, qwen2.5:72b 47 GB, qwen3.6:27b-q4_K_M 17 GB(기본 27b 태그는 18–19 GB)입니다(2026년 10월 23일 확인). 4K 컨텍스트에서 KV 캐시를 위해 1–2 GB를 추가하십시오. GPU VRAM이 모델 요구량보다 부족한 경우 Ollama가 자동으로 레이어를 시스템 RAM으로 오프로드합니다 — 동작하지만 속도가 크게 저하됩니다.
💡팁: VRAM 티어를 확인하셨나요? 해당 티어에 맞는 정확한 GPU 또는 Mac 구매 가이드를 확인하십시오 — 6 GB → RTX 4060, 12 GB → RTX 4070 Super, 24 GB → RTX 3090/4090, 48 GB 이상 → Mac mini M5 Pro 또는 듀얼 GPU.
Ollama로 설정하기
Ollama는 Qwen3 모델을 로컬에서 실행하는 가장 빠른 방법입니다 — 별도 설정 없이 모델 다운로드, GGUF 양자화 처리, `localhost:11434`의 로컬 API를 자동으로 관리합니다. ollama.com에서 설치하십시오. Ollama를 처음 사용하신다면 먼저 Ollama 설치 방법을 읽어보십시오.
- 1Ollama 설치
Why it matters: macOS, Linux(한 줄 설치), Windows에서 사용 가능합니다. GPU 드라이버를 별도로 설정할 필요가 없습니다 — Ollama가 CUDA, ROCm, Metal을 자동으로 감지합니다. - 2명시적 크기 태그로 모델 Pull
Why it matters: 항상 크기를 명시하십시오: `qwen2.5:7b`, `qwen2.5:14b`, `qwen2.5:32b`. 태그 없는 `qwen2.5`는 7B 모델로 해석되지만 Ollama 릴리즈 간에 변경될 수 있습니다. - 3모델 실행
Why it matters: `ollama run qwen2.5:7b`를 실행하면 대화형 채팅이 시작됩니다. 프롬프트를 입력하고 Enter를 누르십시오. `/bye`로 종료합니다. - 4필요 시 컨텍스트 창 설정
Why it matters: Ollama 라이브러리는 컨텍스트 창을 Qwen3 40K, Qwen2.5 32K, Qwen 3.6 256K로 표기합니다. 7B 모델에서 128K 컨텍스트를 사용하려면 `ollama run qwen2.5:7b`를 실행한 뒤 세션에서 `/set parameter num_ctx 131072`를 입력하십시오. 긴 컨텍스트에는 VRAM이 추가로 2–4 GB 필요합니다. - 5API 엔드포인트 테스트
Why it matters: Ollama는 OpenAI 호환 API를 제공합니다. PromptQuorum, Continue.dev, Open WebUI 같은 애플리케이션이 `http://localhost:11434/v1`에 직접 연결됩니다.
# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh
# macOS: download the .dmg from ollama.com or:
brew install ollama
# Pull models — use explicit tags
ollama pull qwen3.6:27b # flagship, 256K context (~17 GB)
ollama pull qwen3:8b # Qwen3 general 8B (~5.5 GB)
ollama pull qwen2.5:7b # Qwen2.5 general 7B (~5.5 GB)
ollama pull qwen2.5:14b # Qwen2.5 general 14B (~9.5 GB)
ollama pull qwen2.5:32b # Qwen2.5 general 32B (~20.5 GB)
ollama pull qwen2.5-coder:32b # Qwen2.5-Coder 32B (~20.5 GB)
ollama pull qwen2.5vl:7b # vision 7B (~6.0 GB)
# Run interactively
ollama run qwen2.5:7b
# Test the OpenAI-compatible API
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}'LM Studio로 설정하기
LM Studio는 터미널 명령어 없이 Qwen3를 위한 GUI 인터페이스를 제공합니다. lmstudio.ai에서 다운로드하거나 LM Studio 설치 방법을 참조하십시오. macOS, Windows, Linux에서 실행됩니다.
- 1모델 브라우저 열기
Why it matters: "Qwen3" 또는 "Qwen Coder"를 검색하여 사용 가능한 모든 GGUF 빌드를 탐색하십시오. 권장 품질/크기 비율을 위해 Q4_K_M으로 필터링하십시오. - 2GGUF 빌드 다운로드
Why it matters: Q4_K_M 변형을 선택하십시오. LM Studio는 다운로드 전에 파일 크기를 표시합니다 — 보유한 VRAM과 일치하는지 확인하십시오. - 3모델 로드 후 채팅 시작
Why it matters: 왼쪽 사이드바에서 모델을 클릭하여 메모리에 로드하십시오. GPU 레이어 할당은 감지된 VRAM을 기준으로 자동으로 처리됩니다. - 4로컬 서버 시작
Why it matters: "Start Server"를 클릭하면 `localhost:1234`에 OpenAI 호환 엔드포인트가 열립니다. 앱과 스크립트가 OpenAI API처럼 연결됩니다.
양자화: 어떤 형식을 선택할까
Q4_K_M이 소비자 하드웨어에서 Qwen3를 위한 올바른 기본값입니다. MMLU와 HumanEval에서 작은 벤치마크 저하로 FP16 대비 VRAM을 약 55–60% 줄입니다. 다른 형식에는 특정 사용 사례가 있습니다:
Q4_K_M은 대부분의 사용자에게 최고의 Qwen3 양자화입니다: FP16 대비 VRAM을 55% 절감하면서 품질 손실이 작습니다.
양자화는 모델 수치를 16비트에서 4비트로 압축하여 파일 크기와 필요한 VRAM을 대략 절반으로 줄입니다. TIFF 이미지를 고품질 JPEG로 저장하는 것과 같습니다 — 파일이 작아지지만 대부분의 용도에서 결과는 거의 동일합니다.
- Q4_K_M (권장): 7B 기준 약 5.5 GB. 최고의 GB당 품질 비율. 이것을 먼저 사용하십시오.
- Q8_0: 7B 기준 약 8.5 GB. FP16에 가까운 품질. 여유 VRAM이 있고 최대 정확도를 원할 때 사용하십시오.
- Q5_K_M: 7B 기준 약 6.5 GB. Q4_K_M 대비 미미한 개선 — Q4_K_M 출력 품질이 특정 작업에서 눈에 띄게 저하될 때만 선택하십시오.
- Q2_K: 7B 기준 약 3 GB. 가장 작은 파일이지만 중국어 출력 품질이 눈에 띄게 저하됩니다 — 중국어 텍스트가 포함된 경우 Qwen3에서 피하십시오.
- IQ4_XS: 7B 기준 약 4.8 GB. 최신 imatrix 양자화로 Q4_K_M보다 약간 작은 크기에서 더 높은 품질을 제공합니다 — 최신 llama.cpp 릴리즈 및 LM Studio 0.3+에서 사용 가능합니다.
소비자 하드웨어에서의 벤치마크 성능
RTX 4090에서 Qwen3 32B Q4_K_M은 초당 28 토큰을 처리합니다 — 실시간 코딩 지원에 충분한 속도입니다. Qwen3 32B는 Qwen의 이전 세대이며, 더 새로운 Qwen 3.6 27B가 같은 24 GB 티어에 들어갑니다(위 하드웨어 표 참조). 아래 수치는 참고용 값이며 PromptQuorum의 실측 결과가 아닙니다. 속도는 GPU, 드라이버, 컨텍스트 길이, Ollama 버전에 따라 달라지고, 정확도 점수는 저희가 다시 측정한 것이 아니며, Coder의 HumanEval 점수는 Instruct 모델의 전체 정밀도 공개 결과(Qwen2.5-Coder 기술 보고서, arXiv:2409.12186, 표 16)이고 Qwen3와 Qwen2.5-72B 점수는 참고용이며 모델 카드와 대조하지 않았습니다. Q4_K_M 빌드는 보통 전체 정밀도보다 약간 낮은 점수를 보입니다. 각 모델 카드를 확인하고 직접 하드웨어에서 테스트하십시오.
모델 (Q4_K_M) | MMLU | Math | HumanEval | 속도 (GPU) |
|---|---|---|---|---|
| Qwen3 8B | 74.2% | 58.8% | 57.3% | 57 tok/s (RTX 3060 12 GB) |
| Qwen3 14B | 79.9% | 69.8% | 64.6% | 38 tok/s (RTX 4070 12 GB) |
| Qwen3 32B | 83.3% | 79.5% | 71.3% | 28 tok/s (RTX 4090 24 GB) |
| Qwen2.5-72B | 86.1% | 83.1% | 73.2% | 12 tok/s (2×RTX 3090) |
| Qwen2.5-Coder 7B | — | — | 88.4% | 55 tok/s (RTX 3060 12 GB) |
| Qwen2.5-Coder 14B | — | — | 89.6% | 36 tok/s (RTX 4070 12 GB) |
| Qwen2.5-Coder 32B | — | — | 92.7% | 27 tok/s (RTX 4090 24 GB) |
💡팁: 초당 27 토큰으로 HumanEval 92.7% 점수를 원하십니까? Qwen2.5-Coder 32B를 실행하는 24 GB GPU를 확인하십시오.
Qwen vs DeepSeek vs Llama: 로컬 실행 시 어떤 것을 선택할까
저희 평가로는 Qwen이 소비자 하드웨어에서 VRAM 효율성이 더 높은 계열입니다. DeepSeek의 현재 V4 계열은 대규모(V4-Flash: 총 284B 파라미터)여서 단일 소비자 GPU에서는 비실용적입니다. Llama 3.3 70B는 Meta의 오픈 모델을 선호하고 단일 GPU에서 일부 레이어를 시스템 RAM으로 오프로드해도 괜찮다면 고려할 수 있는 대안입니다. 아래 표는 각 VRAM 티어에서의 실용적인 옵션을 비교합니다.
VRAM 티어 | 최고 Qwen | 최고 경쟁자 | 결론 |
|---|---|---|---|
| 6 GB | Qwen3 8B | Llama 3.2 3B (맞지만 3B) | Qwen3 8B 우위 — 같은 VRAM, 훨씬 큰 모델 |
| 12 GB | Qwen2.5-Coder 14B | Llama 3.1 8B Instruct | 코딩은 Qwen2.5-Coder 14B; 일반 채팅은 Llama 3.1 8B |
| 24 GB | Qwen2.5-Coder 32B | Llama 3.3 70B (오프로드) | 코드는 Qwen2.5-Coder 32B; 품질 > 속도면 Llama 3.3 70B |
| 48 GB+ | Qwen2.5-72B | DeepSeek V4-Flash 284B MoE | 가중치만 4비트로 ~140 GB; Qwen2.5-72B는 48 GB에 적합 |
중국 사용자: 데이터 주권과 로컬 배포
Qwen3를 로컬에서 실행하면 추론용 프롬프트가 자신의 하드웨어에 머물러 클라우드 API로 추론 데이터가 전송되지 않으므로, 추론 단계에서는 해당 국경 간 전송을 피할 수 있습니다. 클라우드 기반 LLM API는 프롬프트를 해외 서버로 전송해야 하며, 이는 중국 데이터 보안법(DSL) 등에 따른 국경 간 데이터 전송 문제를 일으킬 수 있습니다. 전체 구성이 규정을 준수하는지는 데이터, 목적, 그리고 자체 법률 검토에 달려 있으며, 이는 법률 자문이 아닙니다.
Qwen3는 Alibaba의 Qwen 팀이 주로 중국어 및 다국어 코퍼스로 학습시킨 모델입니다. 이로 인해 간체 중국어, 번체 중국어, 고전 중국어, 혼합 언어(중국어/영어) 문서에 유력한 후보가 되지만, 직접 보유한 자료로 테스트하십시오.
중국 내 엔터프라이즈 배포의 경우: 추론 시 인터넷 연결이 없는 Qwen3 설정은 생성형 AI에 관한 CAC 규정을 충족하기 쉬운 구성일 수 있지만, 준수 여부는 사용 사례에 따라 다르므로 법률 전문가와 확인하십시오. 모델은 전적으로 로컬 컴퓨팅에서 실행됩니다 — 저희 판단으로는 규제 기관의 관심사는 학습 데이터와 출력 모더레이션이지, 오프라인 하드웨어에서의 추론이 아닙니다. 인터넷 차단 환경의 전체 설정 가이드는 완전 오프라인 AI 실행을 참조하십시오.
Qwen3는 다운로드 후 인터넷 연결 없이 실행할 수 있어 추론 데이터가 기기를 떠날 필요가 없으며, 중국 데이터 보안법에 따른 국경 간 데이터 전송 위험을 줄여 줍니다(준수 여부는 여전히 사용 사례에 달려 있습니다).
Qwen3를 로컬에서 실행하면 클라우드 서비스에 연결하지 않는 한 프롬프트와 문서가 컴퓨터에 머뭅니다. 추론에는 클라우드 API 호출이 필요 없으며, 나머지 구성이 데이터를 어떻게 다루는지는 사용자의 책임입니다.
Qwen3 배포를 위해 어떤 하드웨어를 구매해야 합니까?
먼저 목표로 하는 Qwen 티어를 VRAM에 맞추고, 그 기준을 충족하는 가장 저렴한 카드를 구매하십시오 — 모델에 필요한 것보다 많은 VRAM에 비용을 지불하는 것이 이 목록에서 가장 흔한 과소비입니다. 아래 추천 목록은 위 하드웨어 표와 그대로 대응됩니다: 보급형 → RTX 4060, 중급 → RTX 4070 Super, 고급 → RTX 3090/4090, Apple Silicon → Mac mini M5 Pro, 상시 가동용 → 미니 PC. 아래 가격은 2026년 GPU 시장 상황을 반영합니다 — 메모리 칩 부족과 AI 데이터센터 수요로 신품 GPU와 Apple 메모리 가격이 모두 크게 상승했으므로, 구매 전 실제 판매 가격을 확인하십시오.
💡팁: 이미 8 GB 이상 VRAM의 GPU를 보유하고 계신다면 이 섹션을 건너뛰십시오 — 먼저 보유한 하드웨어에서 Qwen3 8B를 실행해 보십시오. 그 한계에 도달하고 더 큰 모델을 원할 때만 새 하드웨어를 구매하십시오.
NVIDIA RTX 4060 8 GB
보급형 선택 — Qwen3 8B, Qwen2.5-Coder 7B (5.5 GB VRAM)
5.5 GB의 Qwen3 8B 요구사항을 컨텍스트 여유 공간까지 확보하면서 충족하는 이 목록에서 가장 저렴한 카드입니다. Qwen2.5-Coder 7B를 초당 약 55 토큰으로 실행합니다 — 인터랙티브 코딩 지원에 충분한 속도입니다.
장점
- +5.5 GB VRAM 요구사항을 긴 컨텍스트 KV 캐시를 위한 여유 공간까지 확보하며 충족
- +이 목록에서 가장 저렴한 가격 — 로컬 LLM을 처음 실행한다면 적합한 첫 GPU
- +7B/8B 모델에서 초당 50–57 토큰 — 이 모델 크기에서는 더 비싼 카드와 대등한 수준
단점
- –Qwen3 8B / Qwen2.5-Coder 7B에서 상한선 — KV 캐시 압박 없이 14B로 확장할 여유가 없음
NVIDIA RTX 4070 Super 12 GB
중급 선택 — Qwen3 14B, Qwen2.5-Coder 14B (9.5 GB VRAM)
Qwen2.5-Coder 14B(HumanEval 89.6%)를 초당 36–38 토큰으로 실행하며 컨텍스트를 위한 2–3 GB의 VRAM 여유가 남습니다 — 12 GB 티어에 잘 맞는 선택입니다.
장점
- +9.5 GB 모델이 2–3 GB의 VRAM 여유와 함께 실행 — 더 긴 컨텍스트 창을 위한 공간
- +HumanEval은 14B가 89.6%, 7B가 88.4%(Instruct 모델 전체 정밀도 공개 값) — 이 벤치마크에서는 차이가 작으므로 14B는 큰 점수 향상이 아니라 어려운 작업의 여유를 위해 선택하십시오
- +초당 약 38 토큰으로 인터랙티브 채팅과 코드 자동완성이 원활하게 유지
단점
- –32B 티어를 위한 VRAM은 부족 — 14B를 넘어서려면 매각 또는 재활용을 고려해야 함
NVIDIA RTX 4090 24 GB (또는 중고 RTX 3090 24 GB)
고급 선택 — Qwen2.5-Coder 32B, Qwen 3.6 27B (~20.5 / ~17 GB VRAM)
4090은 Qwen2.5-Coder 32B에서 초당 ~27 토큰을 제공합니다 — HumanEval 92.7%의 실시간 코딩 속도입니다. 중고 RTX 3090은 동일한 24 GB VRAM을 갖추고 있으며, 신뢰할 수 있는 중고 매물을 찾을 수 있다면 4090 추론 속도의 약 85% 수준으로 훨씬 저렴하게 구매할 수 있습니다.
장점
- +24 GB VRAM으로 모든 Qwen3 32B 변형과 Qwen 3.6 27B를 여유 있게 커버
- +Qwen2.5-Coder 32B(HumanEval 92.7%)에서 초당 ~27 토큰 — 실시간 페어 프로그래밍에 충분한 속도
- +중고 RTX 3090은 가성비 대안: VRAM 한계는 동일, 속도는 약 15% 느리지만 중고가는 훨씬 저렴
단점
- –이 목록에서 가장 높은 초기 비용 — 실제로 32B급 품질이 필요할 때만 정당화됨
Apple Mac mini M5 Pro 64 GB
Apple Silicon 선택 — Qwen 3.6 27B 또는 Qwen3 32B, 저소음·저전력
통합 메모리에서 Qwen3 32B를 실행하는 데 가성비가 가장 좋은 선택입니다 — 조용하고 전력 소비가 낮으며 별도 GPU를 설치할 필요가 없습니다. Qwen2.5-72B의 경우 M2 Ultra 64 GB가 빠듯한 최소 사양이며 128 GB 이상이면 컨텍스트 여유가 생깁니다.
장점
- +M5 Pro 구성은 최대 64 GB 통합 메모리까지 제공 — Qwen3 32B의 20.5 GB 요구사항을 크게 상회하며 다른 앱을 위한 여유 공간도 확보
- +무소음 작동과 데스크톱에 적합한 전력 소비 — 별도의 GPU 쿨링 관리 불필요
- +한 번의 구매로 OS, 스토리지, 추론을 모두 해결 — 별도의 GPU/PSU/케이스 조립 불필요
단점
- –M5 Pro 칩에서의 Qwen3 32B 독립 벤치마크는 아직 공개되지 않았습니다 — RTX 4090과 같은 전용 GPU보다 눈에 띄게 느린 성능이 예상되며, 이는 이전 세대 Mac mini용 Apple Silicon과 일관된 경향입니다
MINISFORUM UM890 Pro (또는 유사한 AMD Ryzen AI 미니 PC)
상시 가동 선택 — CPU + iGPU에서 Qwen3 8B (~초당 8–12 토큰, 35W 미만)
인터랙티브 용도에는 적합하지 않습니다 — 백그라운드 작업, 홈 자동화, 또는 속도보다 전력 비용이 중요한 저트래픽 API 엔드포인트를 위해 24시간 365일 가동하는 Qwen3 8B 인스턴스에 적합합니다.
장점
- +35W 미만의 전력 소비 — 데스크톱 GPU 구성과 달리 계속 가동해도 저렴
- +작은 폼팩터로 어디에나 설치 가능; 별도의 GPU를 구하거나 냉각할 필요 없음
- +별도의 디스크리트 GPU 없이도 Qwen3 8B를 처리
단점
- –초당 8–12 토큰은 인터랙티브 채팅에는 너무 느림 — 백그라운드/API 전용 선택
Qwen3 로컬 실행 시 흔한 실수
- 태그 없는 `ollama pull qwen2.5` 명령어 사용. 명시적 크기 태그(`:7b`, `:14b` 등) 없이는 Ollama가 라이브러리 업데이트 사이에 변경될 수 있는 기본 크기로 해석할 수 있습니다. 항상 명시적 태그를 사용하십시오: `ollama pull qwen2.5:14b`.
- 컨텍스트 창 크기 무시. 모델 카드에 따르면 Qwen3는 기본 32K 토큰을 지원하며 YaRN을 쓰면 약 131K까지 지원합니다. Ollama의 Modelfile 사양은 `num_ctx` 기본값을 2048로 지정하지만, 실제 런타임은 VRAM 용량에 따라 단계별 기본값을 적용합니다(24 GiB 미만은 4K, 24~48 GiB는 32K, 48 GiB 초과는 256K). 두 기본값 중 어느 것에도 의존하지 말고 `num_ctx`를 명시적으로 설정하십시오. 예를 들어 `ollama run` 세션에서 `/set parameter num_ctx 8192`(또는 더 높은 값)를 입력합니다 — 그렇지 않으면 모델이 자동으로 입력을 잘라냅니다.
- 중국어 용도에 Q2_K 양자화 선택. 2비트 정밀도에서 Qwen3의 중국어 출력이 눈에 띄게 저하됩니다 — 문자 대체가 증가합니다. 중국어 작업에는 Q4_K_M을 최소값으로 사용하십시오.
- VRAM이 부족한 상태에서 32B 모델 실행. GPU에 16 GB가 있고 모델에 20.5 GB가 필요한 경우 Ollama가 레이어를 시스템 RAM으로 오프로드합니다. 모델은 실행되지만 초당 3–5 토큰으로 — 대화형 사용에는 적합하지 않습니다. 위의 하드웨어 표를 확인하고 VRAM에 맞는 모델을 선택하십시오.
- 코딩에 잘못된 하위 패밀리 사용. Qwen2.5-Coder 7B는 코드용으로 학습되어 HumanEval에서 88.4%(Instruct 모델 전체 정밀도 공개 값)를 기록하지만, 범용 모델은 이를 위해 조정되어 있지 않습니다. 코딩이 목적이라면 항상 같은 크기의 Coder 변형을 사용하십시오.
다음 단계
- CPU 전용 최고 LLM — GPU 없나요? CPU만으로 실행 가능한 Qwen3 크기 →
- LLM 양자화 설명 — Q4_K_M과 Q8이 헷갈리세요? 양자화 설명 →
자주 묻는 질문
Qwen3 8B를 로컬에서 실행하려면 VRAM이 얼마나 필요합니까?
Qwen3 8B Q4_K_M는 5.5 GB의 VRAM이 필요합니다. RTX 3060 12 GB, RTX 4060, 또는 통합 메모리 8 GB의 Apple M 시리즈 칩에서 모두 실행됩니다. VRAM이 8 GB이면 컨텍스트 및 시스템 RAM을 위한 여유 공간이 생깁니다.
로컬에서 코딩에 가장 적합한 Qwen 모델은 무엇입니까?
Qwen2.5-Coder 32B는 24 GB GPU(RTX 3090 또는 RTX 4090)에 들어가는 Qwen2.5 계열 최대 코딩 전용 모델이며, Qwen은 전체 정밀도 Instruct 버전의 HumanEval 점수를 92.7%로 보고했습니다. Qwen 3.6 27B에도 코딩 변형(`qwen3.6:27b-coding`)이 있습니다. VRAM이 12 GB 이하인 경우 Qwen2.5-Coder 14B(HumanEval 89.6%, 9.5 GB VRAM)를 사용하십시오.
로컬 배포에서 Qwen은 DeepSeek와 어떻게 비교됩니까?
Qwen은 소비자 하드웨어에 맞는 밀집 아키텍처를 사용합니다. DeepSeek의 현재 오픈 웨이트 계열은 V4(V4-Flash: 총 284B 파라미터, MoE)로 단일 소비자 GPU를 훨씬 넘어서며, DeepSeek-V2.5(236B MoE, 2024년)는 V3를 거쳐 V4로 대체되었습니다. VRAM이 제한된 환경에서는 Qwen 모델이 실용적인 선택입니다.
Mac에서 Qwen을 실행할 수 있습니까?
가능합니다. Apple Silicon은 통합 메모리를 사용합니다 — M2 Pro 32 GB는 Qwen3 14B를 초당 약 32 토큰으로 실행합니다. M3 Max 64 GB는 Qwen3 32B를 초당 약 22 토큰으로 처리합니다. 가장 간단한 설정을 위해 Ollama macOS 앱 또는 LM Studio를 사용하십시오.
Qwen에 사용할 Ollama 명령어는 무엇입니까?
플래그십 모델은 `ollama run qwen3.6:27b`(약 17GB VRAM)를 사용하십시오. Qwen3는 `ollama pull qwen3:8b`를 사용하십시오. Qwen2.5는 7B는 `ollama pull qwen2.5:7b`, 14B는 `ollama pull qwen2.5:14b`, 32B는 `ollama pull qwen2.5:32b`, 코딩 변형은 `ollama pull qwen2.5-coder:32b`를 사용하십시오. 항상 명시적 크기 태그를 사용하십시오.
Qwen은 중국어 작업에 적합합니까?
Qwen3는 대규모 중국어 코퍼스로 사전 학습되었으며 간체 중국어, 번체 중국어, 일본어, 한국어, 아랍어 등 다양한 언어를 기본 지원합니다(자세한 목록은 모델 카드 참조). 중국어 로컬 AI에 유력한 후보이므로 직접 보유한 문서로 테스트하십시오.
Qwen3에 어떤 양자화를 사용해야 합니까?
Q4_K_M이 권장 기본값입니다 — FP16 대비 VRAM을 약 55% 줄이면서 벤치마크 품질 손실이 작습니다. 여유 VRAM이 있고 FP16에 가까운 품질을 원한다면 Q8_0을 사용하십시오. 중국어 용도에는 Q2_K를 피하십시오.
Qwen2.5-VL이 중국어 문서 OCR에 효과적입니까?
그렇습니다 — Qwen2.5-VL 7B는 Ollama(`ollama pull qwen2.5vl:7b`, 다운로드 6.0 GB)로 실행되며 텍스트와 이미지를 입력받아 스캔 문서의 중국어, 일본어, 한국어 텍스트를 읽을 수 있습니다. 직접 가진 스캔본으로 테스트하십시오. 더 새로운 Qwen3-VL은 `qwen3-vl:8b`입니다. 전체 가이드는 /local-llms/run-qwen-vl-locally-2026에서 확인하십시오.
출처
- Ollama library: qwen3.6 tags -- 27b-q4_K_M 17 GB, 기본 27b 태그 18–19 GB, 256K 컨텍스트, 27b-coding 태그(2026년 10월 23일 확인)
- Ollama library: qwen3 tags -- 8b 5.2 GB, 14b 9.3 GB, 32b 20 GB, 40K 컨텍스트(2026년 10월 23일 확인)
- Ollama library: qwen2.5 tags -- 7b 4.7 GB, 14b 9.0 GB, 32b 20 GB, 72b 47 GB, 32K 컨텍스트(2026년 10월 23일 확인)
- Ollama library: qwen2.5-coder tags -- 7b 4.7 GB, 14b 9.0 GB, 32b 20 GB, 32K 컨텍스트(2026년 10월 23일 확인)
- Qwen3-8B model card -- 기본 32,768 컨텍스트, YaRN 사용 시 131,072, 100개 이상의 언어
- Qwen2.5-Coder-32B-Instruct model card -- YaRN 사용 시 131,072 컨텍스트
- Qwen2.5-Coder Technical Report (arXiv:2409.12186) -- 표 16: HumanEval 88.4(7B), 89.6(14B), 92.7(32B), Instruct 모델 전체 정밀도