Skip to main content
PromptQuorumPromptQuorum
Home/Local LLMs/2026๋…„ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM: ์†Œ์„ค, ์‹œ, ์žฅํŽธ ์ฝ˜ํ…์ธ 
์ตœ๊ณ ์˜ ๋ชจ๋ธ

2026๋…„ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM: ์†Œ์„ค, ์‹œ, ์žฅํŽธ ์ฝ˜ํ…์ธ 

ยท8๋ถ„ ์ฝ๊ธฐยทBy Hans Kuepper ยท Founder of PromptQuorum, multi-model AI dispatch tool ยท PromptQuorum

2026๋…„ 4์›” ๊ธฐ์ค€, ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM์€ Meta Llama 3.3 70B(์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ ํ’ˆ์งˆ), Mistral Small 3.1 24B(16 GB RAM ์ดํ•˜์—์„œ ์ตœ๊ณ ์˜ ํ’ˆ์งˆ), ๊ทธ๋ฆฌ๊ณ  Fimbulvetr์™€ ๊ฐ™์€ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

2026๋…„ 4์›” ๊ธฐ์ค€, ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM์€ Meta Llama 3.3 70B(์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ ํ’ˆ์งˆ), Mistral Small 3.1 24B(16 GB RAM ์ดํ•˜์—์„œ ์ตœ๊ณ ์˜ ํ’ˆ์งˆ), ๊ทธ๋ฆฌ๊ณ  Fimbulvetr ๋ฐ Midnight-Rose์™€ ๊ฐ™์€ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ(์†Œ์„ค ๋ฐ ๋กคํ”Œ๋ ˆ์ด์— ํŠนํ™”)์ž…๋‹ˆ๋‹ค. ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ์„ฑ๋Šฅ์€ ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ๋กœ ์ž˜ ์ธก์ •๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค -- ์ด๋ฅผ ํ‰๊ฐ€ํ•˜๋ ค๋ฉด ์„œ์‚ฌ์  ์ผ๊ด€์„ฑ, ๋ฌธ์ฒด ๋ฒ”์œ„, ๊ทธ๋ฆฌ๊ณ  ๊ฐœ๋ฐฉํ˜• ํ”„๋กฌํ”„ํŠธ์— ๋Œ€ํ•œ ์ง€์‹œ ์ดํ–‰ ๋Šฅ๋ ฅ์„ ์ง์ ‘ ํ‰๊ฐ€ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

Key Takeaways

  • ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ(MMLU, HumanEval)๋Š” ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ’ˆ์งˆ์„ ์ธก์ •ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค -- ์ง์ ‘ ์ž‘์„ฑํ•œ ์ƒ˜ํ”Œ ํ”„๋กฌํ”„ํŠธ๋กœ ๋ชจ๋ธ์„ ํ‰๊ฐ€ํ•˜์‹ญ์‹œ์˜ค.
  • ์ „๋ฐ˜์ ์œผ๋กœ ์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ: Llama 3.3 70B -- ๋กœ์ปฌ์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ๊ทœ๋ชจ ๋‚ด์—์„œ ๊ฐ€์žฅ ์ž์—ฐ์Šค๋Ÿฌ์šด ์„œ์‚ฌ ๋ฌธ์ฒด.
  • 16 GB RAM ์ตœ์ : Mistral Small 3.1 24B -- ๊ฐ•๋ ฅํ•œ ์ฐฝ์ž‘ ์ถœ๋ ฅ, ์žฅํŽธ ์„œ์‚ฌ์—์„œ 7B ๋ชจ๋ธ๋ณด๋‹ค ํ˜„์ €ํžˆ ์šฐ์ˆ˜.
  • 8 GB RAM ์ตœ์ : Llama 3.3 8B -- ์˜์–ด ์†Œ์„ค ์ž‘์—…์—์„œ Qwen3 7B๋ณด๋‹ค ์ฐฝ์ž‘ ์ง€์‹œ ์ดํ–‰ ๋Šฅ๋ ฅ์ด ๋›ฐ์–ด๋‚จ.
  • ์ฐฝ์ž‘ ์†Œ์„ค ๋ฐ์ดํ„ฐ๋กœ ํŠนํ™” ํ›ˆ๋ จ๋œ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ(Fimbulvetr-11B, Midnight-Rose-70B)์€ ์ง€์†์ ์ธ ์„œ์‚ฌ ์ž‘์—…์—์„œ ๊ธฐ๋ณธ Llama ๋ชจ๋ธ์„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

๋กœ์ปฌ LLM์˜ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ’ˆ์งˆ์„ ์–ด๋–ป๊ฒŒ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๊นŒ?

2026๋…„ 4์›” ๊ธฐ์ค€, ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ์„ฑ๋Šฅ์€ ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ(MMLU, HumanEval)๋กœ ์ž˜ ์ธก์ •๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•ด ๋ชจ๋ธ์„ ํ‰๊ฐ€ํ•˜๋ ค๋ฉด ์‹ค์ œ๋กœ ์‚ฌ์šฉํ•  ์œ ํ˜•์˜ ํ”„๋กฌํ”„ํŠธ๋กœ ์ง์ ‘ ํ…Œ์ŠคํŠธํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค:

  • ์‚ฐ๋ฌธ ์—ฐ์†์„ฑ ํ…Œ์ŠคํŠธ: ์žฅ๋ฉด์˜ ์ฒซ ๋‘ ๋‹จ๋ฝ์„ ๋ชจ๋ธ์—๊ฒŒ ์ œ๊ณตํ•˜๊ณ  500๋‹จ์–ด๋กœ ์ด์–ด์„œ ์“ฐ๋„๋ก ์š”์ฒญํ•˜์‹ญ์‹œ์˜ค. ์ผ๊ด€๋œ ์–ด์กฐ, ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ, ์„œ์‚ฌ์  ๋…ผ๋ฆฌ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๊นŒ?
  • ๋ฌธ์ฒด ์ง€์‹œ ํ…Œ์ŠคํŠธ: ๋ชจ๋ธ์—๊ฒŒ "๋ ˆ์ด๋จผ๋“œ ์นด๋ฒ„ ์Šคํƒ€์ผ๋กœ" ๋˜๋Š” "์Šค๋ฆด๋Ÿฌ ์†Œ์„ค์˜ ํŽ˜์ด์Šค๋กœ" ๋‹จ๋ฝ์„ ์จ๋‹ฌ๋ผ๊ณ  ์š”์ฒญํ•˜์‹ญ์‹œ์˜ค. ๋ฌธ์ฒด๊ฐ€ ์‹ค์งˆ์ ์œผ๋กœ ๋ณ€ํ™”ํ•ฉ๋‹ˆ๊นŒ, ์•„๋‹ˆ๋ฉด ์ผ๋ฐ˜์ ์ธ ์ถœ๋ ฅ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๊นŒ?
  • ์žฅํŽธ ์ผ๊ด€์„ฑ ํ…Œ์ŠคํŠธ: ํŠน์ • ๋ฐ˜์ „ ๊ฒฐ๋ง์ด ์žˆ๋Š” 1,000๋‹จ์–ด ๋‹จํŽธ ์†Œ์„ค์„ ์š”์ฒญํ•˜์‹ญ์‹œ์˜ค. ๋ชจ๋ธ์ด ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ๋ณต์„ ์„ ์‹ฌ๊ณ  ๊ฒฐ๋ง์„ ์ „๋‹ฌํ•ฉ๋‹ˆ๊นŒ?
  • ๋Œ€ํ™” ํ…Œ์ŠคํŠธ: ์„œ๋กœ ๋‹ค๋ฅธ ๋งํˆฌ๋ฅผ ๊ฐ€์ง„ ๋‘ ์บ๋ฆญํ„ฐ๊ฐ€ ๋“ฑ์žฅํ•˜๋Š” ์žฅ๋ฉด์„ ์จ๋ณด์‹ญ์‹œ์˜ค. ๊ฐ ์บ๋ฆญํ„ฐ์˜ ๋ชฉ์†Œ๋ฆฌ๊ฐ€ ๋šœ๋ ทํ•ฉ๋‹ˆ๊นŒ, ์•„๋‹ˆ๋ฉด ๋Œ€ํ™”๊ฐ€ ๊ท ์ผํ•˜๊ฒŒ ๋А๊ปด์ง‘๋‹ˆ๊นŒ?
์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ๋กœ์ปฌ LLM ๋น„๊ต: Llama 3.3 70B(40GB, ์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ), Mistral 24B(14GB, 16GB ํ‹ฐ์–ด), Llama 3.3 8B(6GB, ์ž…๋ฌธ ํ‹ฐ์–ด).
์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ๋กœ์ปฌ LLM ๋น„๊ต: Llama 3.3 70B(40GB, ์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ), Mistral 24B(14GB, 16GB ํ‹ฐ์–ด), Llama 3.3 8B(6GB, ์ž…๋ฌธ ํ‹ฐ์–ด).

#1 Meta Llama 3.3 70B -- ๋กœ์ปฌ์—์„œ ์ตœ๊ณ ์˜ ์‚ฐ๋ฌธ ํ’ˆ์งˆ

Llama 3.3 70B๋Š” ๋กœ์ปฌ์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ๋ชจ๋ธ ์ค‘ ๊ฐ€์žฅ ์ž์—ฐ์Šค๋Ÿฝ๊ณ  ๋‹ค์–‘ํ•œ ์‚ฐ๋ฌธ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์˜๋ฌธ ํ…์ŠคํŠธ ์ฝ”ํผ์Šค๋กœ ํ›ˆ๋ จ๋œ ๋•๋ถ„์— ๋ฏธ๋‹ˆ๋ฉ€๋ฆฌ์ฆ˜ ๋ฌธํ•™ ์†Œ์„ค๋ถ€ํ„ฐ ์žฅ๋ฅด ์Šค๋ฆด๋Ÿฌ ํŽ˜์ด์Šค๊นŒ์ง€ ๊ฐ€์žฅ ๋„“์€ ๋ฌธ์ฒด ๋ฒ”์œ„๋ฅผ ๋ณด์œ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์žฅํŽธ ์ผ๊ด€์„ฑ(1,000-3,000๋‹จ์–ด)์€ 7B ๋˜๋Š” 13B ๋ชจ๋ธ๋ณด๋‹ค ํ˜„์ €ํžˆ ์šฐ์ˆ˜ํ•ฉ๋‹ˆ๋‹ค.

์ œ์•ฝ ์กฐ๊ฑด์€ ํ•˜๋“œ์›จ์–ด์ž…๋‹ˆ๋‹ค: Q4_K_M ๊ธฐ์ค€ 40 GB RAM. ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ์„ธ์…˜(๋ฐฐ์น˜ ์ƒ์„ฑ์ด ์•„๋‹Œ)์˜ ๊ฒฝ์šฐ, CPU์—์„œ์˜ ๋А๋ฆฐ ์ƒ์„ฑ ์†๋„(8-15 tok/sec)๋Š” ํ—ˆ์šฉ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. 64+ GB ํ†ตํ•ฉ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ํƒ‘์žฌํ•œ Apple M2 Ultra ๋˜๋Š” M5 Max์—์„œ๋Š” 20-35 tok/sec์— ๋„๋‹ฌํ•ฉ๋‹ˆ๋‹ค.

SpecValue
์ตœ์  ์šฉ๋„์žฅํŽธ ์†Œ์„ค, ํ’๋ถ€ํ•œ ์‚ฐ๋ฌธ
ํ•„์š” RAM (Q4_K_M)~40 GB
์‚ฐ๋ฌธ ๋ฌธ์ฒด ๋ฒ”์œ„๋กœ์ปฌ ๋ชจ๋ธ ์ค‘ ๊ฐ€์žฅ ๋„“์Œ
์žฅํŽธ ์ผ๊ด€์„ฑ๊ฐ•ํ•จ (1K-3K ๋‹จ์–ด ์žฅ๋ฉด)
Ollama ๋ช…๋ น์–ดollama run llama3.3:70b
๋กœ์ปฌ LLM ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ’ˆ์งˆ ์ŠคํŽ™ํŠธ๋Ÿผ: 8B๋Š” 500๋‹จ์–ด ์ด์•ผ๊ธฐ, 24B๋Š” ์ตœ๋Œ€ 2K๋‹จ์–ด, 70B๋Š” ๊ฐ€์žฅ ๋„“์€ ๋ฌธ์ฒด ๋ฒ”์œ„๋กœ 1K-3K ๋‹จ์–ด ์žฅ๋ฉด์„ ์ง€์†ํ•ฉ๋‹ˆ๋‹ค.
๋กœ์ปฌ LLM ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ’ˆ์งˆ ์ŠคํŽ™ํŠธ๋Ÿผ: 8B๋Š” 500๋‹จ์–ด ์ด์•ผ๊ธฐ, 24B๋Š” ์ตœ๋Œ€ 2K๋‹จ์–ด, 70B๋Š” ๊ฐ€์žฅ ๋„“์€ ๋ฌธ์ฒด ๋ฒ”์œ„๋กœ 1K-3K ๋‹จ์–ด ์žฅ๋ฉด์„ ์ง€์†ํ•ฉ๋‹ˆ๋‹ค.

#2 Mistral Small 3.1 24B -- 16 GB RAM์—์„œ ์ตœ๊ณ ์˜ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ

Mistral Small 3.1 24B๋Š” 14 GB RAM์— ๋งž์œผ๋ฉด์„œ๋„ 7B ๋ชจ๋ธ๋ณด๋‹ค ํ˜„์ €ํžˆ ์šฐ์ˆ˜ํ•œ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ’ˆ์งˆ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ง€์‹œ ์ดํ–‰ ๋Šฅ๋ ฅ์ด ์ถฉ๋ถ„ํžˆ ์ •ํ™•ํ•˜์—ฌ "2์ธ์นญ, ํ˜„์žฌ ์‹œ์ œ, ์งง๊ณ  ๊ฐ•๋ ฌํ•œ ๋ฌธ์žฅ์œผ๋กœ ์“ฐ์‹ญ์‹œ์˜ค"์™€ ๊ฐ™์€ ์„ธ๋ถ€์ ์ธ ๋ฌธ์ฒด ์ง€์ •์„ ์—ฌ๋Ÿฌ ๋‹จ๋ฝ์ด ์ง€๋‚˜๋„ ์œ ์ง€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์›Œํฌ์Šคํ…Œ์ด์…˜๊ธ‰ ๊ธฐ๊ณ„ ์—†์ด ์ง„์ •ํ•œ ์žฅํŽธ ์„œ์‚ฌ ๋Šฅ๋ ฅ์„ ์›ํ•˜๋Š” ์‚ฌ์šฉ์ž์—๊ฒŒ Mistral Small 3.1์€ ์‹ค์šฉ์ ์ธ ์„ ํƒ์ž…๋‹ˆ๋‹ค.

SpecValue
์ตœ์  ์šฉ๋„์žฅํŽธ ์„œ์‚ฌ, ๋ฌธ์ฒด ์ง€์‹œ
ํ•„์š” RAM (Q4_K_M)~14 GB
์‚ฐ๋ฌธ ๋ฌธ์ฒด ๋ฒ”์œ„๊ฐ•ํ•จ -- 7B ํด๋ž˜์Šค๋ณด๋‹ค ํ˜„์ €ํžˆ ์šฐ์ˆ˜
์žฅํŽธ ์ผ๊ด€์„ฑ์–‘ํ˜ธ (500-1,500 ๋‹จ์–ด ์žฅ๋ฉด)
Ollama ๋ช…๋ น์–ดollama run mistral-small3.1

#3 Llama 3.3 8B -- 8 GB RAM์—์„œ ์ตœ๊ณ ์˜ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ

8 GB RAM ํ‹ฐ์–ด์—์„œ Llama 3.3 8B๋Š” ์˜์–ด ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์—์„œ Qwen3 7B์™€ Mistral Small์„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. Qwen3๋Š” ์ฝ”๋”ฉ ๋ฐ ๊ตฌ์กฐํ™”๋œ ์ž‘์—…์—์„œ ๋” ๊ฐ•ํ•˜์ง€๋งŒ, ์„œ์‚ฌ ๋ชฉ์ ์˜ ์˜์–ด ์‚ฐ๋ฌธ ์ƒ์„ฑ์—์„œ๋Š” ์œ ์ฐฝ์„ฑ์ด ๋–จ์–ด์ง‘๋‹ˆ๋‹ค.

Llama 3.3 8B๋Š” ๋‹จํŽธ ์†Œ์„ค(์ตœ๋Œ€ 500๋‹จ์–ด)์„ ์•ˆ์ •์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. 1,000๋‹จ์–ด ์ด์ƒ์˜ ์ด์•ผ๊ธฐ์—์„œ๋Š” ํ’ˆ์งˆ ์ผ๊ด€์„ฑ์ด ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค -- ๋ชจ๋ธ์ด ์„ค์ •๋œ ์„œ์‚ฌ์  ์„ธ๋ถ€ ์‚ฌํ•ญ์—์„œ ๋ฒ—์–ด๋‚˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์žฅํŽธ ์ฐฝ์ž‘ ์ž‘์—…์—์„œ 8B ๊ทœ๋ชจ ๋ชจ๋ธ์˜ ๊ทผ๋ณธ์ ์ธ ํ•œ๊ณ„์ž…๋‹ˆ๋‹ค.

#4 ์†Œ์„ค ๋ฐ ๋กคํ”Œ๋ ˆ์ด๋ฅผ ์œ„ํ•œ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ

๋กœ์ปฌ LLM ์ปค๋ฎค๋‹ˆํ‹ฐ๋Š” ์†Œ์„ค ์ฝ”ํผ์Šค๋กœ ํ›ˆ๋ จ๋œ ํŠนํ™” ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ์„ ์œ ์ง€ ๊ด€๋ฆฌํ•˜๋ฉฐ, ์ด ๋ชจ๋ธ๋“ค์€ ์ง€์†์ ์ธ ์„œ์‚ฌ ์ž‘์—…์—์„œ ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ๋Šฅ๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. Hugging Face์—์„œ ๊ตฌํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ LM Studio ๋˜๋Š” Ollama(์ปค์Šคํ…€ Modelfile ์‚ฌ์šฉ)์—์„œ ๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค:

  • Fimbulvetr-11B -- ๊ณ ํ’ˆ์งˆ ํŒํƒ€์ง€ ๋ฐ SF ์‚ฐ๋ฌธ์œผ๋กœ ํŒŒ์ธํŠœ๋‹. ๊ธฐ๋ณธ Llama 3.3 8B๋ณด๋‹ค ๋” ์ƒ์ƒํ•œ ๊ฐ๊ฐ์  ์„ธ๋ถ€ ๋ฌ˜์‚ฌ์™€ ์ผ๊ด€๋œ ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.
  • Midnight-Rose-70B -- ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ๋ฐ ๋กคํ”Œ๋ ˆ์ด ์‹œ๋‚˜๋ฆฌ์˜ค์— ์ง‘์ค‘ํ•œ Llama 3.3 70B ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ. ๊ธฐ๋ณธ ๋ชจ๋ธ๋ณด๋‹ค ๋” ๋‚˜์€ ์žฅํŽธ ์„œ์‚ฌ ์ผ๊ด€์„ฑ์„ ๋ณด์ž…๋‹ˆ๋‹ค.
  • Noromaid / Openhermes ๋ณ€ํ˜• -- ๋Œ€ํ™”ํ˜• ๋กคํ”Œ๋ ˆ์ด์— ์ง‘์ค‘ํ•œ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ. Fimbulvetr๋ณด๋‹ค ์‚ฐ๋ฌธ ํ’ˆ์งˆ์€ ๋‚ฎ์ง€๋งŒ ์บ๋ฆญํ„ฐ ์ง€์‹œ์— ๋” ์ž˜ ๋ฐ˜์‘ํ•ฉ๋‹ˆ๋‹ค.
  • Hugging Face์—์„œ ์ด ๋ชจ๋ธ๋“ค์„ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ ("creative writing GGUF" ๊ฒ€์ƒ‰) LM Studio์˜ ๋ชจ๋ธ ๋ธŒ๋ผ์šฐ์ €์—์„œ ๋กœ๋“œํ•˜๊ฑฐ๋‚˜ ์ปค์Šคํ…€ Modelfile๊ณผ ํ•จ๊ป˜ `ollama create`๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋กœ๋“œํ•˜์‹ญ์‹œ์˜ค.

๋กœ์ปฌ LLM ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ํ”„๋กฌํ”„ํŒ… ํŒ

  • ๋ฌธ์ฒด๋ฅผ ๊ตฌ์ฒด์ ์œผ๋กœ ์ง€์ •ํ•˜์‹ญ์‹œ์˜ค: "์ฝ”๋งฅ ๋งค์นด์‹œ ์Šคํƒ€์ผ๋กœ ์“ฐ์‹ญ์‹œ์˜ค -- ๊ฐ„๊ฒฐํ•œ ๋Œ€ํ™”, ๊ธด ๋ฌ˜์‚ฌ ๋ฌธ์žฅ, ๋”ฐ์˜ดํ‘œ ์—†์Œ"์ด "๋ฌธํ•™ ์†Œ์„ค์„ ์“ฐ์‹ญ์‹œ์˜ค"๋ณด๋‹ค ํ›จ์”ฌ ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค.
  • ๋ชจ๋ธ์—๊ฒŒ ์—ญํ• ์„ ๋ถ€์—ฌํ•˜์‹ญ์‹œ์˜ค: "๋‹น์‹ ์€ ์ „๋ฌธ ์†Œ์„ค๊ฐ€์ž…๋‹ˆ๋‹ค. ์š”์•ฝํ•˜์ง€ ๋ง๊ณ  ๋ณด์—ฌ์ฃผ๊ธฐ ๋ฐฉ์‹์œผ๋กœ๋งŒ ์ด ์žฅ๋ฉด์„ ์ด์–ด๊ฐ€์‹ญ์‹œ์˜ค." ๋ชจ๋ธ์ด ์ •์˜๋œ ์ •์ฒด์„ฑ์„ ๊ฐ€์งˆ ๋•Œ ์ง€์‹œ ์ดํ–‰์ด ํ–ฅ์ƒ๋ฉ๋‹ˆ๋‹ค.
  • ์˜จ๋„๋ฅผ 0.9-1.1๋กœ ์„ค์ •ํ•˜์‹ญ์‹œ์˜ค: ์ฐฝ์ž‘ ์ž‘์—…์€ ๋†’์€ ์˜จ๋„(๋” ๋งŽ์€ ๋ฌด์ž‘์œ„์„ฑ)์—์„œ ์œ ๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ Ollama ์˜จ๋„๋Š” 0.8์ด๊ณ  LM Studio ๊ธฐ๋ณธ๊ฐ’์€ 0.7์ž…๋‹ˆ๋‹ค. ํŒŒ๋ผ๋ฏธํ„ฐ ์Šฌ๋ผ์ด๋”๋ฅผ ํ†ตํ•ด ์กฐ์ •ํ•˜์‹ญ์‹œ์˜ค.
  • ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค: ์„ธ์…˜ ์ˆ˜์ค€์—์„œ ์ง€์†์ ์ธ ๋ฌธ์ฒด ์ง€์‹œ๋ฅผ ์„ค์ •ํ•˜์‹ญ์‹œ์˜ค. "๋‹น์‹ ์€ ๊ณ ๋”• ๊ณตํฌ ์†Œ์„ค์„ ์“ฐ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ์‘๋‹ต์—์„œ ์–ด๋‘ก๊ณ  ๋ถ„์œ„๊ธฐ ์žˆ๋Š” ์‚ฐ๋ฌธ์„ ์œ ์ง€ํ•˜์‹ญ์‹œ์˜ค."
  • ๊ธด ์ž‘์—…์„ ์„น์…˜์œผ๋กœ ๋‚˜๋ˆ„์‹ญ์‹œ์˜ค: 3,000๋‹จ์–ด ์ฑ•ํ„ฐ์˜ ๊ฒฝ์šฐ 500๋‹จ์–ด ์„น์…˜์œผ๋กœ ๋‚˜๋ˆ„์–ด ์ƒ์„ฑํ•˜์‹ญ์‹œ์˜ค. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ๋ชจ๋ธ์˜ ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ์ผ๊ด€์„ฑ ๋ฒ”์œ„ ๋‚ด์—์„œ ์ž‘์—…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋กœ์ปฌ ์ถœ๋ ฅ๊ณผ ํด๋ผ์šฐ๋“œ ์ถœ๋ ฅ์„ ๋น„๊ตํ•˜์‹ญ์‹œ์˜ค: PromptQuorum์„ ์‚ฌ์šฉํ•˜์—ฌ ๋™์ผํ•œ ์ฐฝ์ž‘ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋กœ์ปฌ Ollama ๋ชจ๋ธ๊ณผ ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ์— ๋™์‹œ์— ์ „์†กํ•˜์‹ญ์‹œ์˜ค -- ๋กœ์ปฌ ํ’ˆ์งˆ์ด ์ถฉ๋ถ„ํ•œ์ง€ ๋ณด์ •ํ•˜๋Š” ๋ฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.
์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ LLM ์˜จ๋„ ๊ฐ€์ด๋“œ: ๊ธฐ๋ณธ 0.7์€ ๋„ˆ๋ฌด ํ‰ํƒ„ํ•˜๊ณ , 0.9-1.05๊ฐ€ ์†Œ์„ค์— ์ตœ์ ์ด๋ฉฐ, 1.1 ์ดˆ๊ณผ ์‹œ ๋น„์ผ๊ด€์ ์ธ ์ถœ๋ ฅ์ด ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.
์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ LLM ์˜จ๋„ ๊ฐ€์ด๋“œ: ๊ธฐ๋ณธ 0.7์€ ๋„ˆ๋ฌด ํ‰ํƒ„ํ•˜๊ณ , 0.9-1.05๊ฐ€ ์†Œ์„ค์— ์ตœ์ ์ด๋ฉฐ, 1.1 ์ดˆ๊ณผ ์‹œ ๋น„์ผ๊ด€์ ์ธ ์ถœ๋ ฅ์ด ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.

๋‚˜์œ ํ”„๋กฌํ”„ํŠธ vs ์ข‹์€ ํ”„๋กฌํ”„ํŠธ

  • โŒ "ํŒํƒ€์ง€ ์ด์•ผ๊ธฐ๋ฅผ ์จ์ฃผ์„ธ์š”" โ†’ โœ… "๋ฐ€์ˆ˜์—…์ž๊ฐ€ ๊ณ ๋Œ€ ์œ ๋ฌผ์„ ๋‘๊ณ  ์šฉ๊ณผ ํ˜‘์ƒํ•˜๋Š” 500๋‹จ์–ด ํŒํƒ€์ง€ ์žฅ๋ฉด์„ ์“ฐ์‹ญ์‹œ์˜ค. ๊ฐ๊ฐ์  ์„ธ๋ถ€ ๋ฌ˜์‚ฌ๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ๋Œ€ํ™”๋ฅผ ๊ธด์žฅ๊ฐ ์žˆ๊ฒŒ ๋งŒ๋“œ์‹ญ์‹œ์˜ค."
  • โŒ "ํฅ๋ฏธ๋กœ์šด ๊ฒƒ์„ ์จ์ฃผ์„ธ์š”" โ†’ โœ… "์ผ์ด ํ‹€์–ด์ง„ ์ ˆ๋„ ์žฅ๋ฉด์˜ 300๋‹จ์–ด ์˜คํ”„๋‹์„ ์“ฐ์‹ญ์‹œ์˜ค. ์ฃผ์ธ๊ณต์ด ์ž„๋ฌด ๋„์ค‘ ํŒŒํŠธ๋„ˆ๊ฐ€ ์ž์‹ ์„ ๋ฐฐ์‹ ํ–ˆ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๋น ๋ฅธ ํŽ˜์ด์Šค์— ๋งž๊ฒŒ ์งง๊ณ  ๊ฐ•๋ ฌํ•œ ๋ฌธ์žฅ์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค."
  • โŒ "๋ฏธ์Šคํ„ฐ๋ฆฌ๋ฅผ ์จ์ฃผ์„ธ์š”" โ†’ โœ… "์ด ํƒ์ • ์žฅ๋ฉด์„ ์ด์–ด์„œ ์“ฐ์‹ญ์‹œ์˜ค: [์ด์ „ ํ…์ŠคํŠธ]. ํƒ์ •์ด ํ•œ ๊ฐ€์ง€ ์„ธ๋ถ€ ์‚ฌํ•ญ์„ ํ†ตํ•ด ์šฉ์˜์ž๊ฐ€ ๊ฑฐ์ง“๋งํ•˜๊ณ  ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๊นจ๋‹ซ์Šต๋‹ˆ๋‹ค. ๊ทธ๋…€๊ฐ€ ์–ด๋–ป๊ฒŒ ๋ถˆ์ผ์น˜๋ฅผ ํฌ์ฐฉํ•˜๋Š”์ง€ ๋งํ•˜์ง€ ๋ง๊ณ  ๋ณด์—ฌ์ฃผ์‹ญ์‹œ์˜ค."
  • โŒ "๋” ํฅ๋ฏธ๋กญ๊ฒŒ ๋งŒ๋“ค์–ด ์ฃผ์„ธ์š”" โ†’ โœ… "์ด์ „ ๋‹จ๋ฝ์„ ๋ˆ„์•„๋ฅด ์†Œ์„ค์ฒ˜๋Ÿผ ๋‹ค์‹œ ์“ฐ์‹ญ์‹œ์˜ค: ๊ฐ„๊ฒฐํ•œ ๋Œ€ํ™”, ๋ƒ‰์†Œ์ ์ธ ๋‚ด๋ฉด ๋…๋ฐฑ, ๊ตฌ์ฒด์ ์ธ ๊ฐ๊ฐ์  ์„ธ๋ถ€ ๋ฌ˜์‚ฌ(์†Œ๋ฆฌ, ๋ƒ„์ƒˆ, ์งˆ๊ฐ)."

๋กœ์ปฌ LLM์„ ํ™œ์šฉํ•œ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ: ์ง€์—ญ๋ณ„ ๋งฅ๋ฝ

์œ ๋Ÿฝ (GDPR ๋ฐ ๋ฐ์ดํ„ฐ ๊ฑฐ์ฃผ): GDPR์€ ์ฒ˜๋ฆฌ ์‹œ ๋ฏผ๊ฐํ•œ ๊ฐœ์ธ ๋ฐ์ดํ„ฐ(์บ๋ฆญํ„ฐ ๋ฐฐ๊ฒฝ ์ด์•ผ๊ธฐ, ์ถœํŒ์šฉ ํ”ฝ์…˜ ์ฝ˜ํ…์ธ )๊ฐ€ EU ๋‚ด์— ์œ ์ง€๋  ๊ฒƒ์„ ์š”๊ตฌํ•ฉ๋‹ˆ๋‹ค. EU ๊ธฐ๋ฐ˜ ํ•˜๋“œ์›จ์–ด์—์„œ ๋กœ์ปฌ ๋ชจ๋ธ์„ ์‹คํ–‰ํ•˜๋ฉด ๊ทœ์ • ์ค€์ˆ˜๊ฐ€ ๋ณด์žฅ๋ฉ๋‹ˆ๋‹ค. ๋…์ผ, ํ”„๋ž‘์Šค ๋˜๋Š” ์˜ค์ŠคํŠธ๋ฆฌ์•„ ์„œ๋ฒ„์— ๋ฐฐํฌ๋œ LM Studio ๋ฐ Ollama๋Š” ํด๋ผ์šฐ๋“œ ์˜์กด ์—†์ด ์ œ28์กฐ ์ฒ˜๋ฆฌ์ž ๊ณ„์•ฝ์„ ์ถฉ์กฑํ•ฉ๋‹ˆ๋‹ค.

์ผ๋ณธ (ํ˜„์ง€ํ™” ๋ฐ ๋ฌธ์ž ์ธ์ฝ”๋”ฉ): ์ผ๋ณธ์–ด ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋Š” ํ˜ผํ•ฉ ๋ฌธ์ž(ํžˆ๋ผ๊ฐ€๋‚˜, ๊ฐ€ํƒ€์นด๋‚˜, ํ•œ์ž), ๋ณต์žกํ•œ ๊ตฌ๋‘์ , ๋ฏธ๋ฌ˜ํ•œ ๋„์–ด์“ฐ๊ธฐ ๊ทœ์น™์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ผ๋ณธ ๋ฌธํ•™์œผ๋กœ ํŒŒ์ธํŠœ๋‹๋œ ๋ชจ๋ธ์€ ์˜์–ด ์ตœ์ ํ™” ๋ชจ๋ธ๋ณด๋‹ค ์ด๋Ÿฌํ•œ ํŒจํ„ด์„ ๋” ์ž˜ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. LM Studio๋Š” UTF-8 ๋ฐ Unicode๋ฅผ ์ง€์›ํ•˜๋ฉฐ, Ollama๋Š” Shisa-7B-v1 ๋ฐ Weblab-10B์™€ ๊ฐ™์€ ์ผ๋ณธ์–ด ๋ชจ๋ธ๊ณผ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค.

์ค‘๊ตญ (์ฝ˜ํ…์ธ  ์ •์ฑ… ๋ฐ ๋ชจ๋ธ ์ ‘๊ทผ): ์ค‘๊ตญ ๋ณธํ† ๋Š” ํด๋ผ์šฐ๋“œ AI ์„œ๋น„์Šค๋ฅผ ์ œํ•œํ•˜๊ณ  ์ฝ˜ํ…์ธ  ๊ฒ€์—ด ๊ทœ์ • ์ค€์ˆ˜๋ฅผ ์š”๊ตฌํ•ฉ๋‹ˆ๋‹ค. Qwen3 ๋˜๋Š” Qwen1.5๋กœ ๋กœ์ปฌ์—์„œ ์‹คํ–‰ํ•˜๋ฉด ์ง€์ •ํ•™์  ์ œํ•œ์„ ํ”ผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋กœ์ปฌ ๋ฐฐํฌ๋Š” ๋…์  ์Šคํ† ๋ฆฌ IP๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ์ค‘๊ตญ ์ถœํŒ์‚ฌ, ๊ฒŒ์ž„ ๊ฐœ๋ฐœ์ž ๋ฐ ๊ธฐ์—…์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

๋กœ์ปฌ LLM์ด ์†Œ์„ค ์ฐฝ์ž‘์—์„œ Claude๋‚˜ GPT-5.5 ๊ฐ™์€ ์ž‘๋ฌธ ๋ณด์กฐ ๋„๊ตฌ๋ฅผ ๋Œ€์ฒดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๋‹จํŽธ ์ฝ˜ํ…์ธ (500๋‹จ์–ด ์ดํ•˜)์˜ ๊ฒฝ์šฐ, ์ž˜ ํ”„๋กฌํ”„ํŒ…๋œ 13B+ ๋กœ์ปฌ ๋ชจ๋ธ์€ ๋ธ”๋ผ์ธ๋“œ ํ…Œ์ŠคํŠธ์—์„œ ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ๊ณผ ๊ตฌ๋ณ„ํ•˜๊ธฐ ์–ด๋ ค์šด ์ถœ๋ ฅ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์žฅํŽธ ์†Œ์„ค(์†Œ์„ค, ์™„์ „ํ•œ ๋‹จํŽธ ์†Œ์„ค)์˜ ๊ฒฝ์šฐ, Claude Opus 4.8๊ณผ GPT-5.5๋Š” ์–ด๋–ค ํ•˜๋“œ์›จ์–ด ํ‹ฐ์–ด์—์„œ๋„ ์„œ์‚ฌ์  ์ผ๊ด€์„ฑ์„ ๋” ์•ˆ์ •์ ์œผ๋กœ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. 70B ๋กœ์ปฌ ๋ชจ๋ธ์€ ์ด ๊ฒฉ์ฐจ๋ฅผ ์ƒ๋‹นํžˆ ์ขํž™๋‹ˆ๋‹ค.

๋ชจ๋ธ์ด ๋‚ด ์ด์•ผ๊ธฐ์˜ ์ด์ „ ๋ถ€๋ถ„์„ ๊ธฐ์–ตํ•ฉ๋‹ˆ๊นŒ?

ํ˜„์žฌ ์ปจํ…์ŠคํŠธ ์ฐฝ ๋‚ด์—์„œ๋งŒ ๊ธฐ์–ตํ•ฉ๋‹ˆ๋‹ค. ๋Œ€ํ™” ๊ธฐ๋ก์ด ๋ชจ๋ธ์˜ ์ปจํ…์ŠคํŠธ ํ•œ๋„(์ผ๋ฐ˜์ ์œผ๋กœ 4K-128K ํ† ํฐ)๋ฅผ ์ดˆ๊ณผํ•˜๋ฉด ์ด์ „ ์„ธ๋ถ€ ์‚ฌํ•ญ์€ ์žŠํ˜€์ง‘๋‹ˆ๋‹ค. ์žฅ๊ธฐ ํ”„๋กœ์ ํŠธ์˜ ๊ฒฝ์šฐ, ๊ฐ ์„ธ์…˜ ์‹œ์ž‘ ์‹œ ์ •๊ธฐ์ ์œผ๋กœ ์ด์•ผ๊ธฐ ์š”์•ฝ์„ ์ œ๊ณตํ•˜์—ฌ ์ปจํ…์ŠคํŠธ๋ฅผ ์žฌ์„ค์ •ํ•˜์‹ญ์‹œ์˜ค.

๊ฐ€์žฅ ์ƒ์ƒํ•œ ์‚ฐ๋ฌธ์„ ์ƒ์„ฑํ•˜๋Š” ๋กœ์ปฌ ๋ชจ๋ธ์€ ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

Q5_K_M ์–‘์žํ™”๋กœ ์‹คํ–‰ํ•œ Llama 3.3 70B๊ฐ€ ๊ฐ€์žฅ ์ผ๊ด€๋˜๊ฒŒ ์ƒ์ƒํ•œ ๊ฐ๊ฐ์  ์„ธ๋ถ€ ๋ฌ˜์‚ฌ์™€ ์ž์—ฐ์Šค๋Ÿฌ์šด ๋Œ€ํ™” ํ๋ฆ„์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. Mistral Small 3.1 24B๋Š” 70B์˜ 45 GB RAM ๋Œ€๋น„ 14 GB RAM์œผ๋กœ ์ด ํ’ˆ์งˆ์˜ 80-85%๋ฅผ ๋‹ฌ์„ฑํ•ฉ๋‹ˆ๋‹ค. 13B ๊ธฐ๋ณธ ๋ชจ๋ธ์˜ Fimbulvetr-11B ํŒŒ์ธํŠœ๋‹๋„ ๋” ์ ์€ ๋ฆฌ์†Œ์Šค ์˜ˆ์‚ฐ์œผ๋กœ ์‚ฐ๋ฌธ์˜ ํ’๋ถ€ํ•จ์—์„œ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค.

์ฑ•ํ„ฐ ์ „๋ฐ˜์— ๊ฑธ์ณ ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ์˜ ๋ถˆ์ผ์น˜๋ฅผ ์–ด๋–ป๊ฒŒ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๊นŒ?

์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ์— ์ƒ์„ธํ•œ ์บ๋ฆญํ„ฐ ์‹œํŠธ(์ด๋ฆ„, ๋ฐฐ๊ฒฝ, ๋งํˆฌ ํŒจํ„ด, ๋™๊ธฐ)๋ฅผ ์ œ๊ณตํ•˜์‹ญ์‹œ์˜ค. ๊ฐ ์ƒˆ ์ฑ•ํ„ฐ์—์„œ ๋‹ค์Œ์œผ๋กœ ์‹œ์ž‘ํ•˜์‹ญ์‹œ์˜ค: "๋‹น์‹ ์€ [์บ๋ฆญํ„ฐ]๋กœ ๊ธ€์„ ์“ฐ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ ๋ชฉ์†Œ๋ฆฌ์™€ ๊ด€์ ์„ ์œ ์ง€ํ•˜์‹ญ์‹œ์˜ค..." ๊ทธ๋Ÿฐ ๋‹ค์Œ ์บ๋ฆญํ„ฐ ์‹œํŠธ๋ฅผ ๋ถ™์—ฌ๋„ฃ์œผ์‹ญ์‹œ์˜ค. ์ด๋Š” 500-2,000๋‹จ์–ด ์„น์…˜์—์„œ ์ผ๊ด€์„ฑ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

์–‘์žํ™”(Q4, Q5, Q8)๊ฐ€ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์—์„œ ๋ˆˆ์— ๋•๋‹ˆ๊นŒ?

๋„ค, ์ธก์ • ๊ฐ€๋Šฅํ•˜๊ฒŒ ์ฐจ์ด๊ฐ€ ๋‚ฉ๋‹ˆ๋‹ค. FP16(์™„์ „ ์ •๋ฐ€๋„)๊ณผ Q8์€ ๊ฑฐ์˜ ๋™์ผํ•œ ์‚ฐ๋ฌธ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. Q5๋Š” ๋ฏธ๋ฌ˜ํ•œ ํ‰ํƒ„ํ™”๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค -- ๋œ ๊ณ ์œ ํ•œ ํ˜•์šฉ์‚ฌ, ์•ฝ๊ฐ„ ๋ฐ˜๋ณต์ ์ธ ๋ฌธ๊ตฌ(์‚ฌ์šฉ์ž์˜ 5-10%๊ฐ€ ์ธ์ง€). Q4๋Š” ๋ช…ํ™•ํ•œ ํ’ˆ์งˆ ์ €ํ•˜๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค: ์ผ๋ฐ˜์ ์ธ ๋ฌ˜์‚ฌ, ๊ฐ๊ฐ์  ์„ธ๋ถ€ ์‚ฌํ•ญ ๋ˆ„๋ฝ. ์†Œ์„ค์˜ ๊ฒฝ์šฐ Q5_K_M์ด ์ตœ์†Œ ๊ถŒ์žฅ ์‚ฌํ•ญ์ด๋ฉฐ, Q8_K_M์ด ์ด์ƒ์ ์ž…๋‹ˆ๋‹ค.

๋กœ์ปฌ LLM์„ ๋‚ด ๊ธ€์“ฐ๊ธฐ ์Šคํƒ€์ผ๋กœ ํŒŒ์ธํŠœ๋‹ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๋„ค. .jsonl ํ˜•์‹(์ž…๋ ฅ/์ถœ๋ ฅ ์Œ)์œผ๋กœ 500-2,000๊ฐœ์˜ ์‚ฐ๋ฌธ ์˜ˆ์ œ๋ฅผ ์ˆ˜์ง‘ํ•œ ๋‹ค์Œ, 24 GB GPU์—์„œ Unsloth ๋˜๋Š” Axolotl ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ 13B ๋ชจ๋ธ์„ 4-8์‹œ๊ฐ„ ๋™์•ˆ ํŒŒ์ธํŠœ๋‹ํ•˜์‹ญ์‹œ์˜ค. ๋น„์šฉ: ํด๋ผ์šฐ๋“œ GPU ๊ธฐ์ค€ ์•ฝ $5-15. ๊ฒฐ๊ณผ: ๋‹น์‹ ์˜ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ๋ชจ๋ฐฉํ•˜๋Š” ๋ชจ๋ธ. LoRA(์ €๋žญํฌ ์ ์‘) ํŒŒ์ธํŠœ๋‹์€ ์ „์ฒด ํŒŒ์ธํŠœ๋‹๋ณด๋‹ค ๋น ๋ฅด๊ณ  ์ €๋ ดํ•ฉ๋‹ˆ๋‹ค.

์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์™€ ์ฐฝ์ž‘ *๋Œ€ํ™”* ํ’ˆ์งˆ์˜ ์ฐจ์ด๋Š” ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

๋Œ€ํ™”๋Š” ๋” ํƒ€์ดํŠธํ•œ ๋‹จ์–ด ๊ฒฝ์ œ์„ฑ๊ณผ ๋šœ๋ ทํ•œ ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ์š”๊ตฌํ•˜๋ฉฐ, ์‚ฐ๋ฌธ์€ ๊ฐ๊ฐ์  ํ’๋ถ€ํ•จ๊ณผ ์„œ์‚ฌ์  ํ๋ฆ„์„ ์š”๊ตฌํ•ฉ๋‹ˆ๋‹ค. Llama 3.3 70B๋Š” ๋‘ ๊ฐ€์ง€ ๋ชจ๋‘์—์„œ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค. ์†Œํ˜• ๋ชจ๋ธ(7B, 8B)์€ ์ข…์ข… ํ‰๋ฒ”ํ•˜๊ณ  ์ผ๋ฐ˜์ ์ธ ๋Œ€ํ™”๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋Œ€ํ™” ์ค‘์‹ฌ ์†Œ์„ค์— ์ง‘์ค‘ํ•œ๋‹ค๋ฉด ์‚ฐ๋ฌธ ํ’ˆ์งˆ๋ณด๋‹ค ๊ฐ•๋ ฅํ•œ ์ง€์‹œ ์ดํ–‰ ๋Šฅ๋ ฅ์„ ๊ฐ–์ถ˜ ๋ชจ๋ธ์„ ์šฐ์„ ์‹œํ•˜์‹ญ์‹œ์˜ค; Mistral Small์˜ ๋Œ€ํ™” ํ’ˆ์งˆ์€ Llama 8B์™€ ๋งž๋จน์Šต๋‹ˆ๋‹ค.

์ „์ฒด ์†Œ์„ค ๊ฐœ์š”์— ์–ผ๋งˆ๋‚˜ ๋งŽ์€ ์ปจํ…์ŠคํŠธ(ํ† ํฐ)๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๊นŒ?

80,000๋‹จ์–ด ์†Œ์„ค์˜ ์ƒ์„ธ ๊ฐœ์š”(์ค„๊ฑฐ๋ฆฌ, ์บ๋ฆญํ„ฐ, ์ฑ•ํ„ฐ, ๊ฐˆ๋“ฑ)๋Š” ์ผ๋ฐ˜์ ์œผ๋กœ 3,000-6,000 ํ† ํฐ์ž…๋‹ˆ๋‹ค. 128K ์ปจํ…์ŠคํŠธ ๋ชจ๋ธ(Llama 3.2, Phi-4)์„ ์‚ฌ์šฉํ•˜๋ฉด ํ•œ ์„ธ์…˜์—์„œ ์ „์ฒด ๊ฐœ์š”์™€ ์ด์ „ ์ฑ•ํ„ฐ๋ฅผ ๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 4K-8K ์ปจํ…์ŠคํŠธ ๋ชจ๋ธ์˜ ๊ฒฝ์šฐ ๋กค๋ง ์š”์•ฝ์„ ์ œ๊ณตํ•˜์‹ญ์‹œ์˜ค: ์ด์ „ ์ฑ•ํ„ฐ ์š”์•ฝ + ๋‹ค์Œ 3๊ฐœ ์ฑ•ํ„ฐ ๊ฐœ์š”.

์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์— ์ตœ์ ํ™”๋œ ๋กœ์ปฌ LLM์„ ์‹คํ–‰ํ•˜๋ ค๋ฉด GPU๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๊นŒ?

์•„๋‹ˆ์š”, ํ•˜์ง€๋งŒ GPU๋Š” ์ƒ์„ฑ ์†๋„๋ฅผ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค. CPU(8์ฝ”์–ด)์˜ 13B ๋ชจ๋ธ: ์ดˆ๋‹น 10-15 ํ† ํฐ. 10GB GPU(RTX 3060)์˜ ๋™์ผํ•œ ๋ชจ๋ธ: ์ดˆ๋‹น 80-100 ํ† ํฐ. ๋ฐ˜๋ณต์ ์ธ ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ(๋ณ€ํ˜• ํ…Œ์ŠคํŠธ, ๋‹ค์‹œ ์“ฐ๊ธฐ)์˜ ๊ฒฝ์šฐ GPU๋Š” ์„ธ์…˜ ์‹œ๊ฐ„์„ 2์‹œ๊ฐ„์—์„œ 15๋ถ„์œผ๋กœ ๋‹จ์ถ•ํ•ฉ๋‹ˆ๋‹ค. CPU๋Š” ์ผํšŒ์„ฑ ์ƒ์„ฑ์ด๋‚˜ ๊ฐœ์š” ์ž‘์„ฑ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

SF ์„ธ๊ณ„ ๊ตฌ์ถ•์— ๊ฐ€์žฅ ์ข‹์€ ๋กœ์ปฌ LLM์€ ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

50ํŽ˜์ด์ง€ ์ด์ƒ์˜ ๊ฐœ์š”์—์„œ ์ผ๊ด€์„ฑ์„ ์œ„ํ•ด Llama 3.3 70B๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ๊ธฐ์ˆ ์  ์ •ํ™•์„ฑ(๋ฌผ๋ฆฌํ•™, ๊ถค๋„ ์—ญํ•™, ํ™”ํ•™)์„ ์œ„ํ•ด์„œ๋Š” Qwen3 14B-32B๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ํ’๋ถ€ํ•œ ๋ฌ˜์‚ฌ์  ์„ธ๊ณ„ ์„ธ๋ถ€ ์‚ฌํ•ญ์„ ์œ„ํ•ด์„œ๋Š” Fimbulvetr-11B๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค. ์˜ˆ์‚ฐ์ด ์ œํ•œ๋œ ์„ค์ •์—์„œ๋Š” Mistral Small 3.1 24B๊ฐ€ ์„ธ๊ณ„ ์ผ๊ด€์„ฑ๊ณผ ๋ฆฌ์†Œ์Šค ์‚ฌ์šฉ์˜ ๊ท ํ˜•์„ ๋งž์ถฅ๋‹ˆ๋‹ค. ๊ฒฐ์ • ์ „์— ์ƒ˜ํ”Œ ์„ธ๊ณ„ ๋ฌ˜์‚ฌ๋กœ ์„ธ ๋ชจ๋ธ ๋ชจ๋‘ ํ…Œ์ŠคํŠธํ•˜์‹ญ์‹œ์˜ค.

์ถœ์ฒ˜

์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ ํ”„๋กฌํ”„ํŒ…์˜ ํ”ํ•œ ์‹ค์ˆ˜

  • ๊ตฌ์ฒด์ ์ธ ๋ชฉํ‘œ์— ์ผ๋ฐ˜์ ์ธ ํ”„๋กฌํ”„ํŠธ ์‚ฌ์šฉ: "์ด์•ผ๊ธฐ๋ฅผ ์จ์ฃผ์„ธ์š”"๋Š” ์ผ๋ฐ˜์ ์ธ ์ถœ๋ ฅ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋Œ€์‹ : "์ ˆ๋„ ์žฅ๋ฉด์˜ 800๋‹จ์–ด ์˜คํ”„๋‹์„ ์“ฐ์‹ญ์‹œ์˜ค. ์ฃผ์ธ๊ณต์ด ๊ธˆ๊ณ ๊ฐ€ ์ด๋ฏธ ๋น„์–ด์žˆ๋‹ค๋Š” ๊ฒƒ์„ ๋ฐœ๊ฒฌํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋…€์˜ ๊ฐ์ •์  ๋ฐ˜์‘์„ ๋ฌผ๋ฆฌ์  ๋ฌ˜์‚ฌ๋ฅผ ํ†ตํ•ด ๋งํ•˜์ง€ ๋ง๊ณ  ๋ณด์—ฌ์ฃผ์‹ญ์‹œ์˜ค."
  • ์–‘์žํ™” ํšจ๊ณผ ๋ฌด์‹œ: ์™„์ „ ์ •๋ฐ€๋„์™€ ๋™์ผํ•œ ์‚ฐ๋ฌธ ํ’ˆ์งˆ์„ ๊ธฐ๋Œ€ํ•˜๋ฉฐ Q4๋กœ 13B ๋ชจ๋ธ์„ ์‹คํ–‰ํ•˜๋Š” ๊ฒƒ. Q4๋Š” ๋ˆˆ์— ๋„๊ฒŒ ์‚ฐ๋ฌธ์„ ํ‰ํƒ„ํ™”ํ•ฉ๋‹ˆ๋‹ค. ์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ์—๋Š” ์ตœ์†Œ Q5_K_M์„, ์ถœํŒ ๊ฐ€๋Šฅํ•œ ํ’ˆ์งˆ์—๋Š” Q8์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.
  • ์˜จ๋„ ๋ฐ ์ƒ˜ํ”Œ๋ง ๋งค๊ฐœ๋ณ€์ˆ˜ ๋ฌด์‹œ: ์ฐฝ์ž‘ ์ž‘์—…์— ๊ธฐ๋ณธ ์˜จ๋„(0.7-0.8)๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ. ๋” ๋‹ค์–‘ํ•˜๊ณ  ํฅ๋ฏธ๋กœ์šด ์‚ฐ๋ฌธ์„ ์œ„ํ•ด 0.95-1.1๋กœ ๋†’์ด๊ณ  top_p๋ฅผ 0.85-0.9๋กœ ์„ค์ •ํ•˜์‹ญ์‹œ์˜ค. ๋„ˆ๋ฌด ๋†’์œผ๋ฉด(>1.2) ๋น„์ผ๊ด€์ ์ธ ์ถœ๋ ฅ์ด ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.
  • ์ปจํ…์ŠคํŠธ ๊ฐ์†Œ ๋ฌด์‹œ: ํ•œ ๋Œ€ํ™”์—์„œ 2,000-4,000 ํ† ํฐ ์ดํ›„, 70B ๋ชจ๋ธ์กฐ์ฐจ๋„ ์ดˆ๊ธฐ ์บ๋ฆญํ„ฐ ์„ธ๋ถ€ ์‚ฌํ•ญ์„ ์žƒ์–ด๋ฒ„๋ฆฝ๋‹ˆ๋‹ค. ์ •๊ธฐ์ ์œผ๋กœ ์บ๋ฆญํ„ฐ ์š”์•ฝ์„ ๋‹ค์‹œ ์†Œ๊ฐœํ•˜๊ฑฐ๋‚˜ ์ƒˆ ์„ธ์…˜์„ ์‹œ์ž‘ํ•˜์‹ญ์‹œ์˜ค.
  • ๋กœ์ปฌ ๋ชจ๋ธ์„ ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ์ฒ˜๋Ÿผ ์ทจ๊ธ‰: Claude 4 ๊ฐ™์€ ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ์€ ์žฅํŽธ ๊ณ„ํš๊ณผ ๋‹ค๋‹จ๊ณ„ ์ž‘์—…์—์„œ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค. ๋กœ์ปฌ ๋ชจ๋ธ์€ ์—„๊ฒฉํ•œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‚ฌ์šฉํ•œ ์žฅ๋ฉด๋ณ„ ์ƒ์„ฑ์—์„œ ํƒ์›”ํ•ฉ๋‹ˆ๋‹ค. ์‹คํ–‰์—๋Š” ๋กœ์ปฌ์„, ๊ฐœ์š” ์ž‘์„ฑ์—๋Š” ํด๋ผ์šฐ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each providerโ€™s official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

Run PromptQuorum with a local LLM, your own API keys, or both โ€” you pick the backend.

Join the PromptQuorum Waitlist โ†’

โ† Back to Local LLMs

์ฐฝ์ž‘ ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ์ตœ๊ณ ์˜ ๋กœ์ปฌ LLM 2026 | PromptQuorum