Skip to main content
PromptQuorumPromptQuorum
Home/Local LLMs/Qwen ๋กœ์ปฌ ๋ฐฐํฌ ๊ฐ€์ด๋“œ 2026: ๋ชจ๋“  ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด์—์„œ Qwen3, Coder & VL ์‹คํ–‰ํ•˜๊ธฐ
Qwen Models

Qwen ๋กœ์ปฌ ๋ฐฐํฌ ๊ฐ€์ด๋“œ 2026: ๋ชจ๋“  ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด์—์„œ Qwen3, Coder & VL ์‹คํ–‰ํ•˜๊ธฐ

ยท14๋ถ„ ๋ถ„๋Ÿ‰ยทBy Hans Kuepper ยท Founder of PromptQuorum, multi-model AI dispatch tool ยท PromptQuorum

Qwen3 7B๋ฅผ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ ค๋ฉด Ollama๋ฅผ ์„ค์น˜ํ•˜๊ณ  `ollama pull qwen2.5:7b`๋ฅผ ์‹คํ–‰ํ•˜์‹ญ์‹œ์˜ค โ€” 5.5 GB์˜ VRAM์ด ํ•„์š”ํ•˜๋ฉฐ RTX 3060์—์„œ ์ดˆ๋‹น 57 ํ† ํฐ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ฝ”๋”ฉ ์ž‘์—…์—๋Š” Qwen3-Coder๋ฅผ, ์ค‘๊ตญ์–ด/์ผ๋ณธ์–ด ๋ฌธ์„œ OCR์—๋Š” Qwen2-VL์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

Qwen3 7B๋Š” Ollama๋ฅผ ํ†ตํ•ด ๋ช…๋ น์–ด ํ•˜๋‚˜๋งŒ์œผ๋กœ 5.5 GB์˜ VRAM์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค. Qwen3-Coder 32B๋Š” HumanEval์—์„œ 92.7%๋ฅผ ๋‹ฌ์„ฑํ•ฉ๋‹ˆ๋‹ค. Qwen2-VL 7B๋Š” ์ค‘๊ตญ์–ด ๋ฐ ์ผ๋ณธ์–ด ๋ฌธ์„œ OCR์—์„œ ๋กœ์ปฌ ๋น„์ „ ๋ชจ๋ธ ์ค‘ ์ตœ๊ณ  ์„ฑ๋Šฅ์„ ๋ณด์ž…๋‹ˆ๋‹ค. ์ด ๊ฐ€์ด๋“œ๋Š” Qwen ์ „์ฒด ํŒจ๋ฐ€๋ฆฌ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค โ€” ๊ฐ ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด์—์„œ ์‹คํ–‰ํ•  ๋ชจ๋ธ, Ollama์™€ LM Studio ์„ค์ • ๋ฐฉ๋ฒ•, ์–‘์žํ™” ์„ ํƒ, ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ, ๊ทธ๋ฆฌ๊ณ  2026๋…„ ์†Œ๋น„์ž ํ•˜๋“œ์›จ์–ด์—์„œ Qwen์ด DeepSeek ๋ฐ Llama์™€ ์–ด๋–ป๊ฒŒ ๋น„๊ต๋˜๋Š”์ง€๋ฅผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

Slide Deck: Qwen ๋กœ์ปฌ ๋ฐฐํฌ ๊ฐ€์ด๋“œ 2026: ๋ชจ๋“  ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด์—์„œ Qwen3, Coder & VL ์‹คํ–‰ํ•˜๊ธฐ

์•„๋ž˜ ์Šฌ๋ผ์ด๋“œ ๋ฑ์€ ๋‹ค์Œ ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค: 7B๋ถ€ํ„ฐ 72B๊นŒ์ง€ ํ•œ๋ˆˆ์— ๋ณด๋Š” Qwen3 ๋ชจ๋ธ ํŒจ๋ฐ€๋ฆฌ, ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด๋ณ„ VRAM ์š”๊ตฌ์‚ฌํ•ญ, Qwen3-Coder 32B ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ, Qwen vs DeepSeek vs Llama ์˜์‚ฌ๊ฒฐ์ • ์ฐจํŠธ. Qwen ๋ฐฐํฌ ์ฐธ๊ณ  ์นด๋“œ๋กœ ๋‹ค์šด๋กœ๋“œํ•˜์‹ญ์‹œ์˜ค.

Browse the slides below or download as PDF for offline reference. Download Reference Card (PDF)

Key Takeaways

  • Qwen3 7B๋Š” 5.5 GB VRAM์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค โ€” `ollama pull qwen2.5:7b` ๋ช…๋ น์–ด ํ•˜๋‚˜๋กœ RTX 3060์—์„œ ์ดˆ๋‹น 57 ํ† ํฐ ์†๋„๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์„ธ ๊ฐ€์ง€ ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ: Qwen3(๋ฒ”์šฉ), Qwen3-Coder(์ฝ”๋”ฉ, 32B์—์„œ HumanEval 92.7%), Qwen2-VL(๋น„์ „, ๋กœ์ปฌ์—์„œ ์ตœ๊ณ ์˜ CJK OCR).
  • ๋ฐ€์ง‘ ์•„ํ‚คํ…์ฒ˜ = ์†Œ๋น„์ž ์นœํ™”์ : DeepSeek์˜ 236B MoE ๋ชจ๋ธ(์•ฝ 130 GB RAM ํ•„์š”)๊ณผ ๋‹ฌ๋ฆฌ, Qwen3 72B๋Š” ๋‘ ๊ฐœ์˜ RTX 3090์—์„œ 46 GB VRAM์œผ๋กœ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.
  • ๋„ค์ดํ‹ฐ๋ธŒ ๋‹ค๊ตญ์–ด: ์ค‘๊ตญ์–ด, ์ผ๋ณธ์–ด, ํ•œ๊ตญ์–ด, ์•„๋ž์–ด, ๋…์ผ์–ด, ํ”„๋ž‘์Šค์–ด ๋ฐ 23๊ฐœ ์–ธ์–ด๋กœ ์‚ฌ์ „ ํ•™์Šต โ€” Qwen3๋Š” CJK ์ž‘์—…์—์„œ Llama 3.3์„ ์ง€์†์ ์œผ๋กœ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
  • Q4_K_M์ด ์ ํ•ฉํ•œ ์–‘์žํ™”: ๋Œ€๋ถ€๋ถ„์˜ ์‚ฌ์šฉ์ž์—๊ฒŒ ์ตœ์  โ€” VRAM ์•ฝ 55% ์ ˆ๊ฐ, ๋ฒค์น˜๋งˆํฌ ํ’ˆ์งˆ ์†์‹ค 1% ๋ฏธ๋งŒ.
  • ํ•˜๋“œ์›จ์–ด ๊ฒฐ์ •: VRAM 12 GB โ†’ 14B ๋ชจ๋ธ; 24 GB โ†’ 32B; 48 GB ์ด์ƒ(GPU ๋‘ ๊ฐœ ๋˜๋Š” Apple Silicon 64 GB) โ†’ 72B.

Qwen3๋Š” ๋ฒ”์šฉ(7Bโ€“72B), ์ฝ”๋”ฉ(Coder 7Bโ€“32B), ๋น„์ „(VL 7Bโ€“72B) ์„ธ ๊ฐ€์ง€ ๋กœ์ปฌ ๋ฐฐํฌ ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ๋ชจ๋‘ Ollama ๋˜๋Š” LM Studio๋ฅผ ํ†ตํ•ด ์‹คํ–‰ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•œ๋‹ค๋Š” ๊ฒƒ์€ AI๊ฐ€ ํด๋ผ์šฐ๋“œ ์„œ๋ฒ„๊ฐ€ ์•„๋‹Œ ์—ฌ๋Ÿฌ๋ถ„์˜ ์ปดํ“จํ„ฐ์—์„œ ์‹คํ–‰๋œ๋‹ค๋Š” ์˜๋ฏธ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๊ฐ€ ์™ธ๋ถ€๋กœ ์ „์†ก๋˜์ง€ ์•Š์œผ๋ฉฐ, ํ•˜๋“œ์›จ์–ด ๊ตฌ์ž… ํ›„์—๋Š” ํ† ํฐ๋‹น ๋น„์šฉ์ด ๋ฐœ์ƒํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

Qwen3 ๋ชจ๋ธ ํŒจ๋ฐ€๋ฆฌ ๊ฐœ์š”

Qwen3 ํŒจ๋ฐ€๋ฆฌ๋Š” ์„ธ ๊ฐ€์ง€ ์ž‘์—…์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค: ๋ฒ”์šฉ ์ถ”๋ก , ์ฝ”๋”ฉ, ๋น„์ „ โ€” ๊ฐ๊ฐ 7B์—์„œ 72B ํŒŒ๋ผ๋ฏธํ„ฐ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ํฌ๊ธฐ ์˜ต์…˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋‘ Alibaba์˜ Qwen ํŒ€์ด Apache 2.0 ๋ผ์ด์„ ์Šค๋กœ Hugging Face์— ๊ณต๊ฐœํ•œ ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

๋จผ์ € ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ๋ฅผ ์„ ํƒํ•œ ๋‹ค์Œ VRAM์— ๋งž๋Š” ํฌ๊ธฐ๋ฅผ ๊ณ ๋ฅด์‹ญ์‹œ์˜ค. ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ๋ฅผ ํ˜ผํ•ฉํ•ด ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ๋„ ์ผ๋ฐ˜์ ์ž…๋‹ˆ๋‹ค: ์ฝ”๋“œ ์™„์„ฑ์—๋Š” Qwen3-Coder 14B๋ฅผ, ๋ฌธ์„œ ์š”์•ฝ์—๋Š” Qwen3 7B๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ์ œ๊ณต ํฌ๊ธฐ์ฃผ์š” ์šฉ๋„Ollama ํƒœ๊ทธ ์ ‘๋‘์‚ฌ
Qwen37B, 14B, 32B, 72B๋ฒ”์šฉ ์ถ”๋ก , ์ค‘๊ตญ์–ด/๋‹ค๊ตญ์–ด ์ž‘์—…, RAGqwen2.5:
Qwen3-Coder7B, 14B, 32B์ฝ”๋“œ ์ƒ์„ฑ, ๋””๋ฒ„๊น…, HumanEval, SWE-benchqwen2.5-coder:
Qwen2-VL2B, 7B, 72B๋ฌธ์„œ OCR, ์ด๋ฏธ์ง€ Q&A, CJK ํ…์ŠคํŠธ ์ถ”์ถœqwen2-vl:

Qwen3(2026๋…„ 1๋ถ„๊ธฐ ์ถœ์‹œ)๋Š” ์‚ฌ๊ณ  ๋ชจ๋“œ ๋ชจ๋ธ์„ ์ถ”๊ฐ€ํ–ˆ์ง€๋งŒ 2026๋…„ 5์›” ๊ธฐ์ค€ Qwen3์— ๋น„ํ•ด GGUF ๋นŒ๋“œ๊ฐ€ ์ ๊ณ  Ollama ์ง€์› ๋ฒ”์œ„๊ฐ€ ์ข์Šต๋‹ˆ๋‹ค. ์ด ๊ฐ€์ด๋“œ๋Š” ๊ฐ€์žฅ ํญ๋„“์€ ํ•˜๋“œ์›จ์–ด ์ง€์›๊ณผ ํ…Œ์ŠคํŠธ๋œ ์–‘์žํ™”๋ฅผ ๊ฐ–์ถ˜ Qwen3์— ์ดˆ์ ์„ ๋งž์ถฅ๋‹ˆ๋‹ค. ๋” ๋„“์€ ๋ชจ๋ธ ๋น„๊ต๋Š” 2026๋…„ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM์„ ์ฐธ์กฐํ•˜์‹ญ์‹œ์˜ค.

๋ชจ๋ธ ํฌ๊ธฐ๋ณ„ ํ•˜๋“œ์›จ์–ด ์š”๊ตฌ์‚ฌํ•ญ

๋จผ์ € VRAM ํ‹ฐ์–ด๋ฅผ ๊ฒฐ์ •ํ•œ ๋‹ค์Œ, ์ ํ•ฉํ•œ ์ตœ๋Œ€ ํฌ๊ธฐ์˜ Qwen3 ๋ชจ๋ธ์„ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค. ์•„๋ž˜ ์ˆ˜์น˜๋Š” ๋ชจ๋‘ ํ‘œ์ค€ ์–‘์žํ™”์ธ Q4_K_M์„ ๊ธฐ์ค€์œผ๋กœ ํ•˜๋ฉฐ, Ollama์™€ LM Studio์—์„œ ์ตœ๊ณ ์˜ ํฌ๊ธฐ ๋Œ€๋น„ ํ’ˆ์งˆ ๋น„์œจ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธVRAM์ตœ์†Œ GPUApple Silicon์†๋„ (RTX 3060)
Qwen3 7B Q4_K_M5.5 GBRTX 3060 6 GB, RTX 4060M1/M2 8 GB~57 tok/s
Qwen3-Coder 7B Q4_K_M5.5 GBRTX 3060 6 GB, RTX 4060M1/M2 8 GB~55 tok/s
Qwen2-VL 7B Q4_K_M6.2 GBRTX 3060 8 GB, RTX 4060M1/M2 16 GBโ€”
Qwen3 14B Q4_K_M9.5 GBRTX 4070 12 GBM2 Pro 16 GBโ€”
Qwen3-Coder 14B Q4_K_M9.5 GBRTX 4070 12 GBM2 Pro 16 GBโ€”
Qwen3 32B Q4_K_M20.5 GBRTX 3090 24 GBM3 Max 48 GBโ€”
Qwen3-Coder 32B Q4_K_M20.5 GBRTX 3090 24 GBM3 Max 48 GBโ€”
Qwen3 72B Q4_K_M46 GB2ร— RTX 3090 (48 GB)M2 Ultra 64 GBโ€”

VRAM ์ˆ˜์น˜๋Š” Ollama ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ Q4_K_M GGUF ํŒŒ์ผ ๊ธฐ์ค€์ž…๋‹ˆ๋‹ค. 4K ์ปจํ…์ŠคํŠธ์—์„œ KV ์บ์‹œ๋ฅผ ์œ„ํ•ด 1โ€“2 GB๋ฅผ ์ถ”๊ฐ€ํ•˜์‹ญ์‹œ์˜ค. GPU VRAM์ด ๋ชจ๋ธ ์š”๊ตฌ๋Ÿ‰๋ณด๋‹ค ๋ถ€์กฑํ•œ ๊ฒฝ์šฐ Ollama๊ฐ€ ์ž๋™์œผ๋กœ ๋ ˆ์ด์–ด๋ฅผ ์‹œ์Šคํ…œ RAM์œผ๋กœ ์˜คํ”„๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค โ€” ๋™์ž‘ํ•˜์ง€๋งŒ ์†๋„๊ฐ€ ํฌ๊ฒŒ ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค.

Qwen3 ๋ชจ๋ธ ํฌ๊ธฐ๋ณ„ VRAM ์š”๊ตฌ์‚ฌํ•ญ (Q4_K_M) โ€” PromptQuorum 2026
Qwen3 ๋ชจ๋ธ ํฌ๊ธฐ๋ณ„ VRAM ์š”๊ตฌ์‚ฌํ•ญ (Q4_K_M) โ€” PromptQuorum 2026

Ollama๋กœ ์„ค์ •ํ•˜๊ธฐ

Ollama๋Š” Qwen3 ๋ชจ๋ธ์„ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋Š” ๊ฐ€์žฅ ๋น ๋ฅธ ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค โ€” ๋ณ„๋„ ์„ค์ • ์—†์ด ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ, GGUF ์–‘์žํ™” ์ฒ˜๋ฆฌ, `localhost:11434`์˜ ๋กœ์ปฌ API๋ฅผ ์ž๋™์œผ๋กœ ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ollama.com์—์„œ ์„ค์น˜ํ•˜์‹ญ์‹œ์˜ค. Ollama๋ฅผ ์ฒ˜์Œ ์‚ฌ์šฉํ•˜์‹ ๋‹ค๋ฉด ๋จผ์ € Ollama ์„ค์น˜ ๋ฐฉ๋ฒ•์„ ์ฝ์–ด๋ณด์‹ญ์‹œ์˜ค.

  1. 1
    Ollama ์„ค์น˜
    Why it matters: macOS, Linux(ํ•œ ์ค„ ์„ค์น˜), Windows์—์„œ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. GPU ๋“œ๋ผ์ด๋ฒ„๋ฅผ ๋ณ„๋„๋กœ ์„ค์ •ํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค โ€” Ollama๊ฐ€ CUDA, ROCm, Metal์„ ์ž๋™์œผ๋กœ ๊ฐ์ง€ํ•ฉ๋‹ˆ๋‹ค.
  2. 2
    ๋ช…์‹œ์  ํฌ๊ธฐ ํƒœ๊ทธ๋กœ ๋ชจ๋ธ Pull
    Why it matters: ํ•ญ์ƒ ํฌ๊ธฐ๋ฅผ ๋ช…์‹œํ•˜์‹ญ์‹œ์˜ค: `qwen2.5:7b`, `qwen2.5:14b`, `qwen2.5:32b`. ํƒœ๊ทธ ์—†๋Š” `qwen2.5`๋Š” 7B ๋ชจ๋ธ๋กœ ํ•ด์„๋˜์ง€๋งŒ Ollama ๋ฆด๋ฆฌ์ฆˆ ๊ฐ„์— ๋ณ€๊ฒฝ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  3. 3
    ๋ชจ๋ธ ์‹คํ–‰
    Why it matters: `ollama run qwen2.5:7b`๋ฅผ ์‹คํ–‰ํ•˜๋ฉด ๋Œ€ํ™”ํ˜• ์ฑ„ํŒ…์ด ์‹œ์ž‘๋ฉ๋‹ˆ๋‹ค. ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ž…๋ ฅํ•˜๊ณ  Enter๋ฅผ ๋ˆ„๋ฅด์‹ญ์‹œ์˜ค. `/bye`๋กœ ์ข…๋ฃŒํ•ฉ๋‹ˆ๋‹ค.
  4. 4
    ํ•„์š” ์‹œ ์ปจํ…์ŠคํŠธ ์ฐฝ ์„ค์ •
    Why it matters: Qwen3๋Š” Ollama์—์„œ ๊ธฐ๋ณธ์ ์œผ๋กœ 32K ์ปจํ…์ŠคํŠธ๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. 7B ๋ชจ๋ธ์—์„œ 128K ์ปจํ…์ŠคํŠธ๋ฅผ ์‚ฌ์šฉํ•˜๋ ค๋ฉด `ollama run qwen2.5:7b --num-ctx 131072`๋ฅผ ์‹คํ–‰ํ•˜์‹ญ์‹œ์˜ค. ๊ธด ์ปจํ…์ŠคํŠธ์—๋Š” VRAM์ด ์ถ”๊ฐ€๋กœ 2โ€“4 GB ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
  5. 5
    API ์—”๋“œํฌ์ธํŠธ ํ…Œ์ŠคํŠธ
    Why it matters: Ollama๋Š” OpenAI ํ˜ธํ™˜ API๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. PromptQuorum, Continue.dev, Open WebUI ๊ฐ™์€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์ด `http://localhost:11434/v1`์— ์ง์ ‘ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.
bash
# Install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# macOS: download the .dmg from ollama.com or:
brew install ollama

# Pull models โ€” use explicit tags
ollama pull qwen2.5:7b           # general 7B (~5.5 GB)
ollama pull qwen2.5:14b          # general 14B (~9.5 GB)
ollama pull qwen2.5:32b          # general 32B (~20.5 GB)
ollama pull qwen2.5-coder:32b    # coding 32B (~20.5 GB)
ollama pull qwen2-vl:7b          # vision 7B (~6.2 GB)

# Run interactively
ollama run qwen2.5:7b

# Test the OpenAI-compatible API
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}'

LM Studio๋กœ ์„ค์ •ํ•˜๊ธฐ

LM Studio๋Š” ํ„ฐ๋ฏธ๋„ ๋ช…๋ น์–ด ์—†์ด Qwen3๋ฅผ ์œ„ํ•œ GUI ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. lmstudio.ai์—์„œ ๋‹ค์šด๋กœ๋“œํ•˜๊ฑฐ๋‚˜ LM Studio ์„ค์น˜ ๋ฐฉ๋ฒ•์„ ์ฐธ์กฐํ•˜์‹ญ์‹œ์˜ค. macOS, Windows, Linux์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

  1. 1
    ๋ชจ๋ธ ๋ธŒ๋ผ์šฐ์ € ์—ด๊ธฐ
    Why it matters: "Qwen3" ๋˜๋Š” "Qwen Coder"๋ฅผ ๊ฒ€์ƒ‰ํ•˜์—ฌ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๋ชจ๋“  GGUF ๋นŒ๋“œ๋ฅผ ํƒ์ƒ‰ํ•˜์‹ญ์‹œ์˜ค. ๊ถŒ์žฅ ํ’ˆ์งˆ/ํฌ๊ธฐ ๋น„์œจ์„ ์œ„ํ•ด Q4_K_M์œผ๋กœ ํ•„ํ„ฐ๋งํ•˜์‹ญ์‹œ์˜ค.
  2. 2
    GGUF ๋นŒ๋“œ ๋‹ค์šด๋กœ๋“œ
    Why it matters: Q4_K_M ๋ณ€ํ˜•์„ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค. LM Studio๋Š” ๋‹ค์šด๋กœ๋“œ ์ „์— ํŒŒ์ผ ํฌ๊ธฐ๋ฅผ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค โ€” ๋ณด์œ ํ•œ VRAM๊ณผ ์ผ์น˜ํ•˜๋Š”์ง€ ํ™•์ธํ•˜์‹ญ์‹œ์˜ค.
  3. 3
    ๋ชจ๋ธ ๋กœ๋“œ ํ›„ ์ฑ„ํŒ… ์‹œ์ž‘
    Why it matters: ์™ผ์ชฝ ์‚ฌ์ด๋“œ๋ฐ”์—์„œ ๋ชจ๋ธ์„ ํด๋ฆญํ•˜์—ฌ ๋ฉ”๋ชจ๋ฆฌ์— ๋กœ๋“œํ•˜์‹ญ์‹œ์˜ค. GPU ๋ ˆ์ด์–ด ํ• ๋‹น์€ ๊ฐ์ง€๋œ VRAM์„ ๊ธฐ์ค€์œผ๋กœ ์ž๋™์œผ๋กœ ์ฒ˜๋ฆฌ๋ฉ๋‹ˆ๋‹ค.
  4. 4
    ๋กœ์ปฌ ์„œ๋ฒ„ ์‹œ์ž‘
    Why it matters: "Start Server"๋ฅผ ํด๋ฆญํ•˜๋ฉด `localhost:1234`์— OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ๊ฐ€ ์—ด๋ฆฝ๋‹ˆ๋‹ค. ์•ฑ๊ณผ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ OpenAI API์ฒ˜๋Ÿผ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.

์–‘์žํ™”: ์–ด๋–ค ํ˜•์‹์„ ์„ ํƒํ• ๊นŒ

Q4_K_M์ด ์†Œ๋น„์ž ํ•˜๋“œ์›จ์–ด์—์„œ Qwen3๋ฅผ ์œ„ํ•œ ์˜ฌ๋ฐ”๋ฅธ ๊ธฐ๋ณธ๊ฐ’์ž…๋‹ˆ๋‹ค. MMLU์™€ HumanEval์—์„œ 1% ๋ฏธ๋งŒ์˜ ๋ฒค์น˜๋งˆํฌ ์ €ํ•˜๋กœ FP16 ๋Œ€๋น„ VRAM์„ ์•ฝ 55โ€“60% ์ค„์ž…๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ํ˜•์‹์—๋Š” ํŠน์ • ์‚ฌ์šฉ ์‚ฌ๋ก€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค:

Q4_K_M์€ ๋Œ€๋ถ€๋ถ„์˜ ์‚ฌ์šฉ์ž์—๊ฒŒ ์ตœ๊ณ ์˜ Qwen3 ์–‘์žํ™”์ž…๋‹ˆ๋‹ค: FP16 ๋Œ€๋น„ VRAM์„ 55% ์ ˆ๊ฐํ•˜๋ฉด์„œ ํ’ˆ์งˆ ์†์‹ค์ด 1% ๋ฏธ๋งŒ์ž…๋‹ˆ๋‹ค.

์–‘์žํ™”๋Š” ๋ชจ๋ธ ์ˆ˜์น˜๋ฅผ 16๋น„ํŠธ์—์„œ 4๋น„ํŠธ๋กœ ์••์ถ•ํ•˜์—ฌ ํŒŒ์ผ ํฌ๊ธฐ์™€ ํ•„์š”ํ•œ VRAM์„ ๋Œ€๋žต ์ ˆ๋ฐ˜์œผ๋กœ ์ค„์ž…๋‹ˆ๋‹ค. TIFF ์ด๋ฏธ์ง€๋ฅผ ๊ณ ํ’ˆ์งˆ JPEG๋กœ ์ €์žฅํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค โ€” ํŒŒ์ผ์ด ์ž‘์•„์ง€์ง€๋งŒ ๋Œ€๋ถ€๋ถ„์˜ ์šฉ๋„์—์„œ ๊ฒฐ๊ณผ๋Š” ๊ฑฐ์˜ ๋™์ผํ•ฉ๋‹ˆ๋‹ค.

  • Q4_K_M (๊ถŒ์žฅ): 7B ๊ธฐ์ค€ ์•ฝ 5.5 GB. ์ตœ๊ณ ์˜ GB๋‹น ํ’ˆ์งˆ ๋น„์œจ. ์ด๊ฒƒ์„ ๋จผ์ € ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.
  • Q8_0: 7B ๊ธฐ์ค€ ์•ฝ 8.5 GB. FP16์— ๊ฐ€๊นŒ์šด ํ’ˆ์งˆ. ์—ฌ์œ  VRAM์ด ์žˆ๊ณ  ์ตœ๋Œ€ ์ •ํ™•๋„๋ฅผ ์›ํ•  ๋•Œ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.
  • Q5_K_M: 7B ๊ธฐ์ค€ ์•ฝ 6.5 GB. Q4_K_M ๋Œ€๋น„ ๋ฏธ๋ฏธํ•œ ๊ฐœ์„  โ€” Q4_K_M ์ถœ๋ ฅ ํ’ˆ์งˆ์ด ํŠน์ • ์ž‘์—…์—์„œ ๋ˆˆ์— ๋„๊ฒŒ ์ €ํ•˜๋  ๋•Œ๋งŒ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค.
  • Q2_K: 7B ๊ธฐ์ค€ ์•ฝ 3 GB. ๊ฐ€์žฅ ์ž‘์€ ํŒŒ์ผ์ด์ง€๋งŒ ์ค‘๊ตญ์–ด ์ถœ๋ ฅ ํ’ˆ์งˆ์ด ๋ˆˆ์— ๋„๊ฒŒ ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค โ€” ์ค‘๊ตญ์–ด ํ…์ŠคํŠธ๊ฐ€ ํฌํ•จ๋œ ๊ฒฝ์šฐ Qwen3์—์„œ ํ”ผํ•˜์‹ญ์‹œ์˜ค.
  • IQ4_XS: 7B ๊ธฐ์ค€ ์•ฝ 4.8 GB. ์ตœ์‹  imatrix ์–‘์žํ™”๋กœ Q4_K_M๋ณด๋‹ค ์•ฝ๊ฐ„ ์ž‘์€ ํฌ๊ธฐ์—์„œ ๋” ๋†’์€ ํ’ˆ์งˆ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค โ€” ์ตœ์‹  llama.cpp ๋ฆด๋ฆฌ์ฆˆ ๋ฐ LM Studio 0.3+์—์„œ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

์†Œ๋น„์ž ํ•˜๋“œ์›จ์–ด์—์„œ์˜ ๋ฒค์น˜๋งˆํฌ ์„ฑ๋Šฅ

RTX 4090์—์„œ Qwen3 32B Q4_K_M์€ ์ดˆ๋‹น 28 ํ† ํฐ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค โ€” ์‹ค์‹œ๊ฐ„ ์ฝ”๋”ฉ ์ง€์›์— ์ถฉ๋ถ„ํ•œ ์†๋„์ž…๋‹ˆ๋‹ค. ์•„๋ž˜ ์ ์ˆ˜๋Š” Ollama์—์„œ ํ…Œ์ŠคํŠธ๋œ Q4_K_M GGUF ๋นŒ๋“œ ๊ธฐ์ค€์ž…๋‹ˆ๋‹ค. ์ „์ฒด ์ •๋ฐ€๋„ FP16 ์ ์ˆ˜๋Š” 1โ€“2% ๋†’์Šต๋‹ˆ๋‹ค.

๋ชจ๋ธ (Q4_K_M)MMLUMathHumanEval์†๋„ (RTX 3060 12 GB)
Qwen3 7B74.2%58.8%57.3%57 tok/s
Qwen3 14B79.9%69.8%64.6%โ€”
Qwen3 32B83.3%79.5%71.3%โ€”
Qwen3 72B86.1%83.1%73.2%โ€”
Qwen3-Coder 7Bโ€”โ€”75.6%55 tok/s
Qwen3-Coder 14Bโ€”โ€”85.2%โ€”
Qwen3-Coder 32Bโ€”โ€”92.7%โ€”
Qwen3 ๋ฒค์น˜๋งˆํฌ ์ ์ˆ˜ (Q4_K_M) โ€” PromptQuorum 2026
Qwen3 ๋ฒค์น˜๋งˆํฌ ์ ์ˆ˜ (Q4_K_M) โ€” PromptQuorum 2026

Qwen vs DeepSeek vs Llama: ๋กœ์ปฌ ์‹คํ–‰ ์‹œ ์–ด๋–ค ๊ฒƒ์„ ์„ ํƒํ• ๊นŒ

Qwen3๋Š” ์ค‘๊ตญ์–ด ์ž‘์—…๊ณผ VRAM ํšจ์œจ์„ฑ์—์„œ ์šฐ์ˆ˜ํ•ฉ๋‹ˆ๋‹ค. DeepSeek-V2.5๋Š” ๋Œ€๊ทœ๋ชจ ์ถ”๋ก ์—์„œ ์šฐ์ˆ˜ํ•˜์ง€๋งŒ ์†Œ๋น„์ž ํ•˜๋“œ์›จ์–ด์—์„œ๋Š” ๋น„์‹ค์šฉ์ ์ž…๋‹ˆ๋‹ค. Llama 3.3 70B๋Š” Meta์˜ ์˜คํ”ˆ ๋ชจ๋ธ์„ ์„ ํ˜ธํ•œ๋‹ค๋ฉด ๋‹จ์ผ GPU์— ๊ฐ€์žฅ ์ ํ•ฉํ•œ ์˜ต์…˜์ž…๋‹ˆ๋‹ค. ์•„๋ž˜ ํ‘œ๋Š” ๊ฐ VRAM ํ‹ฐ์–ด์—์„œ์˜ ์‹ค์šฉ์ ์ธ ์˜ต์…˜์„ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค.

VRAM ํ‹ฐ์–ด์ตœ๊ณ  Qwen์ตœ๊ณ  ๊ฒฝ์Ÿ์ž๊ฒฐ๋ก 
6 GBQwen3 7BLlama 3.2 3B (๋งž์ง€๋งŒ 3B)Qwen3 7B ์šฐ์œ„ โ€” ๊ฐ™์€ VRAM, ํ›จ์”ฌ ํฐ ๋ชจ๋ธ
12 GBQwen3-Coder 14BLlama 3.3 8B Instruct์ฝ”๋”ฉ์€ Qwen3-Coder 14B; ์ผ๋ฐ˜ ์ฑ„ํŒ…์€ Llama 3.3 8B
24 GBQwen3-Coder 32BLlama 3.3 70B (์˜คํ”„๋กœ๋“œ)์ฝ”๋“œ๋Š” Qwen3-Coder 32B; ํ’ˆ์งˆ > ์†๋„๋ฉด Llama 3.3 70B
48 GB+Qwen3 72BDeepSeek-V2.5 236B MoEDeepSeek๋Š” ~130 GB RAM ํ•„์š”; Qwen3 72B๊ฐ€ 48 GB์—์„œ ์‹ค์šฉ์  ์„ ํƒ

์ค‘๊ตญ ์‚ฌ์šฉ์ž: ๋ฐ์ดํ„ฐ ์ฃผ๊ถŒ๊ณผ ๋กœ์ปฌ ๋ฐฐํฌ

Qwen3๋ฅผ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ฉด ๋ฐ์ดํ„ฐ๊ฐ€ ์™ธ๋ถ€ ๊ธฐ๊ธฐ๋กœ ์ „ํ˜€ ์ „์†ก๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค โ€” ์ค‘๊ตญ์˜ ๋ฐ์ดํ„ฐ ๋ณด์•ˆ๋ฒ•(DSL) ๋˜๋Š” ์‚ฌ์ด๋ฒ„๋ณด์•ˆ๋ฒ•์— ๋”ฐ๋ฅธ ์ปดํ”Œ๋ผ์ด์–ธ์Šค ์œ„ํ—˜์ด ์—†์Šต๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜ LLM API๋Š” ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ•ด์™ธ ์„œ๋ฒ„๋กœ ์ „์†กํ•ด์•ผ ํ•˜๋ฉฐ, ์ด๋Š” DSL ์ œ31์กฐ์— ๋”ฐ๋ฅธ ๊ตญ๊ฒฝ ๊ฐ„ ๋ฐ์ดํ„ฐ ์ „์†ก ์œ„ํ—˜์„ ์ดˆ๋ž˜ํ•ฉ๋‹ˆ๋‹ค.

Qwen3๋Š” Alibaba์˜ Qwen ํŒ€์ด ์ฃผ๋กœ ์ค‘๊ตญ์–ด ๋ฐ ๋‹ค๊ตญ์–ด ์ฝ”ํผ์Šค๋กœ ํ•™์Šต์‹œํ‚จ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด๋กœ ์ธํ•ด ๊ฐ„์ฒด ์ค‘๊ตญ์–ด, ๋ฒˆ์ฒด ์ค‘๊ตญ์–ด, ๊ณ ์ „ ์ค‘๊ตญ์–ด, ํ˜ผํ•ฉ ์–ธ์–ด(์ค‘๊ตญ์–ด/์˜์–ด) ๋ฌธ์„œ์—์„œ ๋กœ์ปฌ๋กœ ๋ฐฐํฌ ๊ฐ€๋Šฅํ•œ ๊ฐ€์žฅ ๊ฐ•๋ ฅํ•œ ๋ชจ๋ธ์ด ๋ฉ๋‹ˆ๋‹ค.

์ค‘๊ตญ ๋‚ด ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ ๋ฐฐํฌ์˜ ๊ฒฝ์šฐ: ์—์–ด๊ฐญ(์ธํ„ฐ๋„ท ์ฐจ๋‹จ) Qwen3 ์„ค์ •์€ ์ƒ์„ฑํ˜• AI์— ๊ด€ํ•œ CAC ๊ทœ์ •์„ ์™„์ „ํžˆ ์ค€์ˆ˜ํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์ „์ ์œผ๋กœ ๋กœ์ปฌ ์ปดํ“จํŒ…์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค โ€” ๊ทœ์ œ ๊ธฐ๊ด€์˜ ๊ด€์‹ฌ์‚ฌ๋Š” ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ์ถœ๋ ฅ ๋ชจ๋”๋ ˆ์ด์…˜์ด์ง€, ์˜คํ”„๋ผ์ธ ํ•˜๋“œ์›จ์–ด์—์„œ์˜ ์ถ”๋ก ์ด ์•„๋‹™๋‹ˆ๋‹ค. ์™„์ „ํ•œ ์—์–ด๊ฐญ ์„ค์ • ๊ฐ€์ด๋“œ๋Š” ์™„์ „ ์˜คํ”„๋ผ์ธ AI ์‹คํ–‰์„ ์ฐธ์กฐํ•˜์‹ญ์‹œ์˜ค.

Qwen3๋Š” ๋‹ค์šด๋กœ๋“œ ํ›„ ์™„์ „ํžˆ ์˜คํ”„๋ผ์ธ์œผ๋กœ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค โ€” ๋ฐ์ดํ„ฐ๊ฐ€ ๊ธฐ๊ธฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š์•„ ์ค‘๊ตญ์˜ ๋ฐ์ดํ„ฐ ๋ณด์•ˆ๋ฒ•์— ๋”ฐ๋ฅธ ๊ตญ๊ฒฝ ๊ฐ„ ๋ฐ์ดํ„ฐ ์ „์†ก ์œ„ํ—˜์„ ์—†์•ฑ๋‹ˆ๋‹ค.

Qwen3๋ฅผ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ฉด ํ”„๋กฌํ”„ํŠธ์™€ ๋ฌธ์„œ๊ฐ€ ์ ˆ๋Œ€ ์ปดํ“จํ„ฐ ๋ฐ–์œผ๋กœ ๋‚˜๊ฐ€์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ API ํ˜ธ์ถœ, ํ•ด์™ธ ์„œ๋ฒ„, ๊ทœ์ œ ๊ธฐ๊ด€์ด ๊ฐ€๋กœ์ฑ„๊ฑฐ๋‚˜ ๊ฐ์‚ฌํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.

์˜ˆ์‚ฐ๋ณ„ ํ•˜๋“œ์›จ์–ด ์ถ”์ฒœ

RTX 3060 12 GB๋Š” โ‚ฌ300 ๋ฏธ๋งŒ์—์„œ Qwen3 7B์™€ Qwen3-Coder 7B๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ์ง„์ž…์ ์ž…๋‹ˆ๋‹ค. 14B ๋ชจ๋ธ์˜ ๊ฒฝ์šฐ RTX 4070 12 GB๊ฐ€ ์•ฝ โ‚ฌ400์— 35% ์†๋„ ํ–ฅ์ƒ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์•„๋ž˜๋Š” ์ด ๊ฐ€์ด๋“œ๋ฅผ ์œ„ํ•ด ์‚ฌ์šฉํ•˜๊ณ  ํ…Œ์ŠคํŠธํ•œ ํ•˜๋“œ์›จ์–ด ์˜ต์…˜์ž…๋‹ˆ๋‹ค.

  • ๋ณด๊ธ‰ํ˜• (Qwen3 7B): NVIDIA RTX 4060 8 GB ๋˜๋Š” RTX 3060 12 GB. ๋‘˜ ๋‹ค 7B ๋ชจ๋ธ์„ ์ดˆ๋‹น 50โ€“57 ํ† ํฐ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. RTX 3060 12 GB๋Š” ์ค‘๊ณ ๋กœ ๋” ์ €๋ ดํ•œ ๊ฒฝ์šฐ๊ฐ€ ๋งŽ๊ณ  VRAM ์—ฌ์œ  ๊ณต๊ฐ„์ด ๋” ๋งŽ์Šต๋‹ˆ๋‹ค.
  • ์ค‘๊ธ‰ (Qwen3 14B): RTX 4070 12 GB ๋˜๋Š” RTX 4070 Super 12 GB. 4070 Super๋Š” Qwen3-Coder 14B๋ฅผ ์ดˆ๋‹น 38โ€“42 ํ† ํฐ์œผ๋กœ ์‹คํ–‰ํ•˜๋ฉฐ 2โ€“3 GB์˜ ์—ฌ์œ  VRAM์œผ๋กœ 14B ๋ชจ๋ธ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • ๊ณ ๊ธ‰ (Qwen3 32B): RTX 4090 24 GB ๋˜๋Š” RTX 3090 24 GB. 4090์€ Qwen3-Coder 32B์—์„œ ์ดˆ๋‹น 27โ€“28 ํ† ํฐ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค โ€” ์‹ค์‹œ๊ฐ„ ์ฝ”๋”ฉ ์†๋„์ž…๋‹ˆ๋‹ค. 3090์€ ์ค‘๊ณ ๋กœ ํ›จ์”ฌ ์ €๋ ดํ•˜๊ณ  ์ถ”๋ก ์—์„œ 4090์˜ 85% ์„ฑ๋Šฅ์„ ๋ฐœํœ˜ํ•ฉ๋‹ˆ๋‹ค.
  • Apple Silicon (์ „ ํฌ๊ธฐ): Mac mini M4 Pro 48 GB๋Š” ๋‚ฎ์€ ์†Œ์Œ๊ณผ ์ „๋ ฅ ์†Œ๋น„๋กœ Qwen3 32B(~์ดˆ๋‹น 22 ํ† ํฐ)๋ฅผ ์‹คํ–‰ํ•˜๋Š” ์ตœ๊ณ ์˜ ๊ฐ€์„ฑ๋น„ ์˜ต์…˜์ž…๋‹ˆ๋‹ค. M2 Ultra 192 GB๋Š” Qwen3 72B๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • ์ƒ์‹œ ๊ฐ€๋™์šฉ ๋ฏธ๋‹ˆ PC: MINISFORUM UM890 Pro ๋˜๋Š” ์œ ์‚ฌํ•œ AMD Ryzen AI PC. CPU+iGPU์—์„œ Qwen3 7B๋ฅผ ์ดˆ๋‹น ์•ฝ 8โ€“12 ํ† ํฐ์œผ๋กœ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค โ€” ๋А๋ฆฌ์ง€๋งŒ 35W ๋ฏธ๋งŒ์˜ ์ „๋ ฅ์œผ๋กœ 24์‹œ๊ฐ„ 365์ผ ๊ฐ€๋™ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

Qwen3 ๋กœ์ปฌ ์‹คํ–‰ ์‹œ ํ”ํ•œ ์‹ค์ˆ˜

  • ํƒœ๊ทธ ์—†๋Š” `ollama pull qwen2.5` ๋ช…๋ น์–ด ์‚ฌ์šฉ. ๋ช…์‹œ์  ํฌ๊ธฐ ํƒœ๊ทธ(`:7b`, `:14b` ๋“ฑ) ์—†์ด๋Š” Ollama๊ฐ€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์—…๋ฐ์ดํŠธ ์‚ฌ์ด์— ๋ณ€๊ฒฝ๋  ์ˆ˜ ์žˆ๋Š” ๊ธฐ๋ณธ ํฌ๊ธฐ๋กœ ํ•ด์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•ญ์ƒ ๋ช…์‹œ์  ํƒœ๊ทธ๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค: `ollama pull qwen2.5:14b`.
  • ์ปจํ…์ŠคํŠธ ์ฐฝ ํฌ๊ธฐ ๋ฌด์‹œ. Qwen3๋Š” 128K ์ปจํ…์ŠคํŠธ๋ฅผ ์ง€์›ํ•˜์ง€๋งŒ Ollama๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ `num_ctx`๋ฅผ 2K๋กœ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค. ๊ธด ๋ฌธ์„œ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ฒฝ์šฐ ์‹คํ–‰ ๋ช…๋ น์–ด์— `--num-ctx 8192`(๋˜๋Š” ๋” ๋†’์€ ๊ฐ’)๋ฅผ ์ถ”๊ฐ€ํ•˜์‹ญ์‹œ์˜ค โ€” ๊ทธ๋ ‡์ง€ ์•Š์œผ๋ฉด ๋ชจ๋ธ์ด ์ž๋™์œผ๋กœ ์ž…๋ ฅ์„ ์ž˜๋ผ๋ƒ…๋‹ˆ๋‹ค.
  • ์ค‘๊ตญ์–ด ์šฉ๋„์— Q2_K ์–‘์žํ™” ์„ ํƒ. 2๋น„ํŠธ ์ •๋ฐ€๋„์—์„œ Qwen3์˜ ์ค‘๊ตญ์–ด ์ถœ๋ ฅ์ด ๋ˆˆ์— ๋„๊ฒŒ ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค โ€” ๋ฌธ์ž ๋Œ€์ฒด๊ฐ€ ์ฆ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ์ค‘๊ตญ์–ด ์ž‘์—…์—๋Š” Q4_K_M์„ ์ตœ์†Œ๊ฐ’์œผ๋กœ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.
  • VRAM์ด ๋ถ€์กฑํ•œ ์ƒํƒœ์—์„œ 32B ๋ชจ๋ธ ์‹คํ–‰. GPU์— 16 GB๊ฐ€ ์žˆ๊ณ  ๋ชจ๋ธ์— 20.5 GB๊ฐ€ ํ•„์š”ํ•œ ๊ฒฝ์šฐ Ollama๊ฐ€ ๋ ˆ์ด์–ด๋ฅผ ์‹œ์Šคํ…œ RAM์œผ๋กœ ์˜คํ”„๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ์‹คํ–‰๋˜์ง€๋งŒ ์ดˆ๋‹น 3โ€“5 ํ† ํฐ์œผ๋กœ โ€” ๋Œ€ํ™”ํ˜• ์‚ฌ์šฉ์—๋Š” ์ ํ•ฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์œ„์˜ ํ•˜๋“œ์›จ์–ด ํ‘œ๋ฅผ ํ™•์ธํ•˜๊ณ  VRAM์— ๋งž๋Š” ๋ชจ๋ธ์„ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค.
  • ์ฝ”๋”ฉ์— ์ž˜๋ชป๋œ ํ•˜์œ„ ํŒจ๋ฐ€๋ฆฌ ์‚ฌ์šฉ. Qwen3 7B(๋ฒ”์šฉ)๋Š” HumanEval์—์„œ 57.3%๋ฅผ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. Qwen3-Coder 7B๋Š” ๊ฐ™์€ ๋ฒค์น˜๋งˆํฌ์—์„œ 75.6%๋ฅผ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค โ€” ์ƒ๋Œ€์ ์œผ๋กœ 32% ํ–ฅ์ƒ์ž…๋‹ˆ๋‹ค. ์ฝ”๋”ฉ์ด ๋ชฉ์ ์ด๋ผ๋ฉด ํ•ญ์ƒ ๊ฐ™์€ ํฌ๊ธฐ์˜ Coder ๋ณ€ํ˜•์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ

Qwen3 7B๋ฅผ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ ค๋ฉด VRAM์ด ์–ผ๋งˆ๋‚˜ ํ•„์š”ํ•ฉ๋‹ˆ๊นŒ?

Qwen3 7B Q4_K_M๋Š” 5.5 GB์˜ VRAM์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. RTX 3060 6 GB, RTX 4060, ๋˜๋Š” ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ 8 GB์˜ Apple M ์‹œ๋ฆฌ์ฆˆ ์นฉ์—์„œ ๋ชจ๋‘ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค. VRAM์ด 8 GB์ด๋ฉด ์ปจํ…์ŠคํŠธ ๋ฐ ์‹œ์Šคํ…œ RAM์„ ์œ„ํ•œ ์—ฌ์œ  ๊ณต๊ฐ„์ด ์ƒ๊น๋‹ˆ๋‹ค.

๋กœ์ปฌ์—์„œ ์ฝ”๋”ฉ์— ๊ฐ€์žฅ ์ ํ•ฉํ•œ Qwen ๋ชจ๋ธ์€ ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

Qwen3-Coder 32B๋Š” ๋กœ์ปฌ์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์ตœ๊ณ ์˜ ์ฝ”๋”ฉ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค โ€” HumanEval์—์„œ 92.7%๋ฅผ ๊ธฐ๋กํ•˜๋ฉฐ 24 GB GPU(RTX 3090 ๋˜๋Š” RTX 4090)๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. VRAM์ด 12 GB ์ดํ•˜์ธ ๊ฒฝ์šฐ Qwen3-Coder 14B(HumanEval 85.2%, 9.5 GB VRAM)๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

๋กœ์ปฌ ๋ฐฐํฌ์—์„œ Qwen์€ DeepSeek์™€ ์–ด๋–ป๊ฒŒ ๋น„๊ต๋ฉ๋‹ˆ๊นŒ?

Qwen3 72B์™€ DeepSeek-V2.5๋Š” ์ผ๋ฐ˜ ์ž‘์—…์—์„œ ๊ฒฝ์Ÿ๋ ฅ์ด ์žˆ์ง€๋งŒ, Qwen์€ ์†Œ๋น„์ž ํ•˜๋“œ์›จ์–ด์— ๋งž๋Š” ๋ฐ€์ง‘ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. DeepSeek-V2.5๋Š” 236B MoE ๋ชจ๋ธ๋กœ Q4์—์„œ ์•ฝ 130 GB RAM์ด ํ•„์š”ํ•˜๋ฉฐ ์„œ๋ฒ„๊ธ‰ ํ•˜๋“œ์›จ์–ด ์—†์ด๋Š” ๋„๋‹ฌํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. VRAM์ด 48 GB ๋ฏธ๋งŒ์ธ ๊ฒฝ์šฐ Qwen3๊ฐ€ ์‹ค์šฉ์ ์ธ ์„ ํƒ์ž…๋‹ˆ๋‹ค.

Mac์—์„œ Qwen์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. Apple Silicon์€ ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค โ€” M2 Pro 32 GB๋Š” Qwen3 14B๋ฅผ ์ดˆ๋‹น ์•ฝ 32 ํ† ํฐ์œผ๋กœ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. M3 Max 64 GB๋Š” Qwen3 32B๋ฅผ ์ดˆ๋‹น ์•ฝ 22 ํ† ํฐ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์žฅ ๊ฐ„๋‹จํ•œ ์„ค์ •์„ ์œ„ํ•ด Ollama macOS ์•ฑ ๋˜๋Š” LM Studio๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

Qwen3์— ์‚ฌ์šฉํ•  Ollama ๋ช…๋ น์–ด๋Š” ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

7B๋Š” `ollama pull qwen2.5:7b`, 14B๋Š” `ollama pull qwen2.5:14b`, 32B๋Š” `ollama pull qwen2.5:32b`, ์ฝ”๋”ฉ ๋ณ€ํ˜•์€ `ollama pull qwen2.5-coder:32b`๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ํ•ญ์ƒ ๋ช…์‹œ์  ํฌ๊ธฐ ํƒœ๊ทธ๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

Qwen์€ ์ค‘๊ตญ์–ด ์ž‘์—…์— ์ ํ•ฉํ•ฉ๋‹ˆ๊นŒ?

Qwen3๋Š” ๋Œ€๊ทœ๋ชจ ์ค‘๊ตญ์–ด ์ฝ”ํผ์Šค๋กœ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์œผ๋ฉฐ ๊ฐ„์ฒด ์ค‘๊ตญ์–ด, ๋ฒˆ์ฒด ์ค‘๊ตญ์–ด, ์ผ๋ณธ์–ด, ํ•œ๊ตญ์–ด, ์•„๋ž์–ด ๋ฐ 24๊ฐœ ์–ธ์–ด๋ฅผ ๊ธฐ๋ณธ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์ค‘๊ตญ์–ด ์ฝ๊ธฐ ์ดํ•ด ๋ฐ ์ƒ์„ฑ์—์„œ Llama 3.3๊ณผ Mistral์„ ์ง€์†์ ์œผ๋กœ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

Qwen3์— ์–ด๋–ค ์–‘์žํ™”๋ฅผ ์‚ฌ์šฉํ•ด์•ผ ํ•ฉ๋‹ˆ๊นŒ?

Q4_K_M์ด ๊ถŒ์žฅ ๊ธฐ๋ณธ๊ฐ’์ž…๋‹ˆ๋‹ค โ€” FP16 ๋Œ€๋น„ VRAM์„ ์•ฝ 55% ์ค„์ด๋ฉด์„œ ๋ฒค์น˜๋งˆํฌ ํ’ˆ์งˆ ์†์‹ค์ด 1% ๋ฏธ๋งŒ์ž…๋‹ˆ๋‹ค. ์—ฌ์œ  VRAM์ด ์žˆ๊ณ  FP16์— ๊ฐ€๊นŒ์šด ํ’ˆ์งˆ์„ ์›ํ•œ๋‹ค๋ฉด Q8_0์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ์ค‘๊ตญ์–ด ์šฉ๋„์—๋Š” Q2_K๋ฅผ ํ”ผํ•˜์‹ญ์‹œ์˜ค.

Qwen2-VL์ด ์ค‘๊ตญ์–ด ๋ฌธ์„œ OCR์— ํšจ๊ณผ์ ์ž…๋‹ˆ๊นŒ?

๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค โ€” Qwen2-VL 7B๋Š” CJK ๋ฌธ์„œ OCR์—์„œ ๊ฐ€์žฅ ๊ฐ•๋ ฅํ•œ ๋กœ์ปฌ ๋น„์ „ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. `ollama pull qwen2-vl:7b`๋ฅผ ํ†ตํ•ด ์•ฝ 6 GB VRAM์œผ๋กœ ์‹คํ–‰๋˜๋ฉฐ 4096ร—4096 ํ•ด์ƒ๋„์—์„œ ์ค‘๊ตญ์–ด, ์ผ๋ณธ์–ด, ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋ฅผ ์ฝ์Šต๋‹ˆ๋‹ค. ์ „์ฒด ๊ฐ€์ด๋“œ๋Š” /local-llms/run-qwen-vl-locally-2026์—์„œ ํ™•์ธํ•˜์‹ญ์‹œ์˜ค.

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each providerโ€™s official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

Qwen3, DeepSeek, Llama๋ฅผ ํ•˜๋‚˜์˜ ์ธํ„ฐํŽ˜์ด์Šค์—์„œ ์‹คํ–‰ํ•˜์‹ญ์‹œ์˜ค โ†’

PromptQuorum ๋ฌด๋ฃŒ๋กœ ์‚ฌ์šฉํ•ด๋ณด๊ธฐ

โ† Back to Local LLMs

Qwen3 ๋กœ์ปฌ ์„ค์ • ๊ฐ€์ด๋“œ 2026: Coder, VL & ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด | PromptQuorum