Key Takeaways
- ํ์ค ๋ฒค์น๋งํฌ(MMLU, HumanEval)๋ ์ฐฝ์ ๊ธ์ฐ๊ธฐ ํ์ง์ ์ธก์ ํ์ง ์์ต๋๋ค -- ์ง์ ์์ฑํ ์ํ ํ๋กฌํํธ๋ก ๋ชจ๋ธ์ ํ๊ฐํ์ญ์์ค.
- ์ ๋ฐ์ ์ผ๋ก ์ต๊ณ ์ ์ฐ๋ฌธ: Llama 3.3 70B -- ๋ก์ปฌ์์ ์คํ ๊ฐ๋ฅํ ๊ท๋ชจ ๋ด์์ ๊ฐ์ฅ ์์ฐ์ค๋ฌ์ด ์์ฌ ๋ฌธ์ฒด.
- 16 GB RAM ์ต์ : Mistral Small 3.1 24B -- ๊ฐ๋ ฅํ ์ฐฝ์ ์ถ๋ ฅ, ์ฅํธ ์์ฌ์์ 7B ๋ชจ๋ธ๋ณด๋ค ํ์ ํ ์ฐ์.
- 8 GB RAM ์ต์ : Llama 3.3 8B -- ์์ด ์์ค ์์ ์์ Qwen3 7B๋ณด๋ค ์ฐฝ์ ์ง์ ์ดํ ๋ฅ๋ ฅ์ด ๋ฐ์ด๋จ.
- ์ฐฝ์ ์์ค ๋ฐ์ดํฐ๋ก ํนํ ํ๋ จ๋ ์ปค๋ฎค๋ํฐ ํ์ธํ๋ ๋ชจ๋ธ(Fimbulvetr-11B, Midnight-Rose-70B)์ ์ง์์ ์ธ ์์ฌ ์์ ์์ ๊ธฐ๋ณธ Llama ๋ชจ๋ธ์ ๋ฅ๊ฐํฉ๋๋ค.
๋ก์ปฌ LLM์ ์ฐฝ์ ๊ธ์ฐ๊ธฐ ํ์ง์ ์ด๋ป๊ฒ ํ๊ฐํฉ๋๊น?
2026๋ 4์ ๊ธฐ์ค, ์ฐฝ์ ๊ธ์ฐ๊ธฐ ์ฑ๋ฅ์ ํ์ค ๋ฒค์น๋งํฌ(MMLU, HumanEval)๋ก ์ ์ธก์ ๋์ง ์์ต๋๋ค. ์ฐฝ์ ๊ธ์ฐ๊ธฐ๋ฅผ ์ํด ๋ชจ๋ธ์ ํ๊ฐํ๋ ค๋ฉด ์ค์ ๋ก ์ฌ์ฉํ ์ ํ์ ํ๋กฌํํธ๋ก ์ง์ ํ ์คํธํด์ผ ํฉ๋๋ค:
- ์ฐ๋ฌธ ์ฐ์์ฑ ํ ์คํธ: ์ฅ๋ฉด์ ์ฒซ ๋ ๋จ๋ฝ์ ๋ชจ๋ธ์๊ฒ ์ ๊ณตํ๊ณ 500๋จ์ด๋ก ์ด์ด์ ์ฐ๋๋ก ์์ฒญํ์ญ์์ค. ์ผ๊ด๋ ์ด์กฐ, ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ, ์์ฌ์ ๋ ผ๋ฆฌ๋ฅผ ์ ์งํฉ๋๊น?
- ๋ฌธ์ฒด ์ง์ ํ ์คํธ: ๋ชจ๋ธ์๊ฒ "๋ ์ด๋จผ๋ ์นด๋ฒ ์คํ์ผ๋ก" ๋๋ "์ค๋ฆด๋ฌ ์์ค์ ํ์ด์ค๋ก" ๋จ๋ฝ์ ์จ๋ฌ๋ผ๊ณ ์์ฒญํ์ญ์์ค. ๋ฌธ์ฒด๊ฐ ์ค์ง์ ์ผ๋ก ๋ณํํฉ๋๊น, ์๋๋ฉด ์ผ๋ฐ์ ์ธ ์ถ๋ ฅ์ ์์ฑํฉ๋๊น?
- ์ฅํธ ์ผ๊ด์ฑ ํ ์คํธ: ํน์ ๋ฐ์ ๊ฒฐ๋ง์ด ์๋ 1,000๋จ์ด ๋จํธ ์์ค์ ์์ฒญํ์ญ์์ค. ๋ชจ๋ธ์ด ์์ฐ์ค๋ฝ๊ฒ ๋ณต์ ์ ์ฌ๊ณ ๊ฒฐ๋ง์ ์ ๋ฌํฉ๋๊น?
- ๋ํ ํ ์คํธ: ์๋ก ๋ค๋ฅธ ๋งํฌ๋ฅผ ๊ฐ์ง ๋ ์บ๋ฆญํฐ๊ฐ ๋ฑ์ฅํ๋ ์ฅ๋ฉด์ ์จ๋ณด์ญ์์ค. ๊ฐ ์บ๋ฆญํฐ์ ๋ชฉ์๋ฆฌ๊ฐ ๋๋ ทํฉ๋๊น, ์๋๋ฉด ๋ํ๊ฐ ๊ท ์ผํ๊ฒ ๋๊ปด์ง๋๊น?
#1 Meta Llama 3.3 70B -- ๋ก์ปฌ์์ ์ต๊ณ ์ ์ฐ๋ฌธ ํ์ง
Llama 3.3 70B๋ ๋ก์ปฌ์์ ์คํ ๊ฐ๋ฅํ ๋ชจ๋ธ ์ค ๊ฐ์ฅ ์์ฐ์ค๋ฝ๊ณ ๋ค์ํ ์ฐ๋ฌธ์ ์์ฑํฉ๋๋ค. ๋ค์ํ ์๋ฌธ ํ ์คํธ ์ฝํผ์ค๋ก ํ๋ จ๋ ๋๋ถ์ ๋ฏธ๋๋ฉ๋ฆฌ์ฆ ๋ฌธํ ์์ค๋ถํฐ ์ฅ๋ฅด ์ค๋ฆด๋ฌ ํ์ด์ค๊น์ง ๊ฐ์ฅ ๋์ ๋ฌธ์ฒด ๋ฒ์๋ฅผ ๋ณด์ ํ๊ณ ์์ต๋๋ค. ์ฅํธ ์ผ๊ด์ฑ(1,000-3,000๋จ์ด)์ 7B ๋๋ 13B ๋ชจ๋ธ๋ณด๋ค ํ์ ํ ์ฐ์ํฉ๋๋ค.
์ ์ฝ ์กฐ๊ฑด์ ํ๋์จ์ด์ ๋๋ค: Q4_K_M ๊ธฐ์ค 40 GB RAM. ์ฐฝ์ ๊ธ์ฐ๊ธฐ ์ธ์ (๋ฐฐ์น ์์ฑ์ด ์๋)์ ๊ฒฝ์ฐ, CPU์์์ ๋๋ฆฐ ์์ฑ ์๋(8-15 tok/sec)๋ ํ์ฉ ๊ฐ๋ฅํฉ๋๋ค. 64+ GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ์ฌํ Apple M2 Ultra ๋๋ M5 Max์์๋ 20-35 tok/sec์ ๋๋ฌํฉ๋๋ค.
| Spec | Value |
|---|---|
| ์ต์ ์ฉ๋ | ์ฅํธ ์์ค, ํ๋ถํ ์ฐ๋ฌธ |
| ํ์ RAM (Q4_K_M) | ~40 GB |
| ์ฐ๋ฌธ ๋ฌธ์ฒด ๋ฒ์ | ๋ก์ปฌ ๋ชจ๋ธ ์ค ๊ฐ์ฅ ๋์ |
| ์ฅํธ ์ผ๊ด์ฑ | ๊ฐํจ (1K-3K ๋จ์ด ์ฅ๋ฉด) |
| Ollama ๋ช ๋ น์ด | ollama run llama3.3:70b |
#2 Mistral Small 3.1 24B -- 16 GB RAM์์ ์ต๊ณ ์ ์ฐฝ์ ๊ธ์ฐ๊ธฐ
Mistral Small 3.1 24B๋ 14 GB RAM์ ๋ง์ผ๋ฉด์๋ 7B ๋ชจ๋ธ๋ณด๋ค ํ์ ํ ์ฐ์ํ ์ฐฝ์ ๊ธ์ฐ๊ธฐ ํ์ง์ ์ ๊ณตํฉ๋๋ค. ์ง์ ์ดํ ๋ฅ๋ ฅ์ด ์ถฉ๋ถํ ์ ํํ์ฌ "2์ธ์นญ, ํ์ฌ ์์ , ์งง๊ณ ๊ฐ๋ ฌํ ๋ฌธ์ฅ์ผ๋ก ์ฐ์ญ์์ค"์ ๊ฐ์ ์ธ๋ถ์ ์ธ ๋ฌธ์ฒด ์ง์ ์ ์ฌ๋ฌ ๋จ๋ฝ์ด ์ง๋๋ ์ ์งํ ์ ์์ต๋๋ค.
์ํฌ์คํ ์ด์ ๊ธ ๊ธฐ๊ณ ์์ด ์ง์ ํ ์ฅํธ ์์ฌ ๋ฅ๋ ฅ์ ์ํ๋ ์ฌ์ฉ์์๊ฒ Mistral Small 3.1์ ์ค์ฉ์ ์ธ ์ ํ์ ๋๋ค.
| Spec | Value |
|---|---|
| ์ต์ ์ฉ๋ | ์ฅํธ ์์ฌ, ๋ฌธ์ฒด ์ง์ |
| ํ์ RAM (Q4_K_M) | ~14 GB |
| ์ฐ๋ฌธ ๋ฌธ์ฒด ๋ฒ์ | ๊ฐํจ -- 7B ํด๋์ค๋ณด๋ค ํ์ ํ ์ฐ์ |
| ์ฅํธ ์ผ๊ด์ฑ | ์ํธ (500-1,500 ๋จ์ด ์ฅ๋ฉด) |
| Ollama ๋ช ๋ น์ด | ollama run mistral-small3.1 |
#3 Llama 3.3 8B -- 8 GB RAM์์ ์ต๊ณ ์ ์ฐฝ์ ๊ธ์ฐ๊ธฐ
8 GB RAM ํฐ์ด์์ Llama 3.3 8B๋ ์์ด ์ฐฝ์ ๊ธ์ฐ๊ธฐ์์ Qwen3 7B์ Mistral Small์ ๋ฅ๊ฐํฉ๋๋ค. Qwen3๋ ์ฝ๋ฉ ๋ฐ ๊ตฌ์กฐํ๋ ์์ ์์ ๋ ๊ฐํ์ง๋ง, ์์ฌ ๋ชฉ์ ์ ์์ด ์ฐ๋ฌธ ์์ฑ์์๋ ์ ์ฐฝ์ฑ์ด ๋จ์ด์ง๋๋ค.
Llama 3.3 8B๋ ๋จํธ ์์ค(์ต๋ 500๋จ์ด)์ ์์ ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค. 1,000๋จ์ด ์ด์์ ์ด์ผ๊ธฐ์์๋ ํ์ง ์ผ๊ด์ฑ์ด ์ ํ๋ฉ๋๋ค -- ๋ชจ๋ธ์ด ์ค์ ๋ ์์ฌ์ ์ธ๋ถ ์ฌํญ์์ ๋ฒ์ด๋๋ ๊ฒฝํฅ์ด ์์ต๋๋ค. ์ด๋ ์ฅํธ ์ฐฝ์ ์์ ์์ 8B ๊ท๋ชจ ๋ชจ๋ธ์ ๊ทผ๋ณธ์ ์ธ ํ๊ณ์ ๋๋ค.
#4 ์์ค ๋ฐ ๋กคํ๋ ์ด๋ฅผ ์ํ ์ปค๋ฎค๋ํฐ ํ์ธํ๋ ๋ชจ๋ธ
๋ก์ปฌ LLM ์ปค๋ฎค๋ํฐ๋ ์์ค ์ฝํผ์ค๋ก ํ๋ จ๋ ํนํ ํ์ธํ๋ ๋ชจ๋ธ์ ์ ์ง ๊ด๋ฆฌํ๋ฉฐ, ์ด ๋ชจ๋ธ๋ค์ ์ง์์ ์ธ ์์ฌ ์์ ์์ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ๋ฅ๊ฐํฉ๋๋ค. Hugging Face์์ ๊ตฌํ ์ ์์ผ๋ฉฐ LM Studio ๋๋ Ollama(์ปค์คํ Modelfile ์ฌ์ฉ)์์ ๋ก๋ํ ์ ์์ต๋๋ค:
- Fimbulvetr-11B -- ๊ณ ํ์ง ํํ์ง ๋ฐ SF ์ฐ๋ฌธ์ผ๋ก ํ์ธํ๋. ๊ธฐ๋ณธ Llama 3.3 8B๋ณด๋ค ๋ ์์ํ ๊ฐ๊ฐ์ ์ธ๋ถ ๋ฌ์ฌ์ ์ผ๊ด๋ ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ๋ฅผ ์์ฑํฉ๋๋ค.
- Midnight-Rose-70B -- ์ฐฝ์ ๊ธ์ฐ๊ธฐ ๋ฐ ๋กคํ๋ ์ด ์๋๋ฆฌ์ค์ ์ง์คํ Llama 3.3 70B ํ์ธํ๋ ๋ชจ๋ธ. ๊ธฐ๋ณธ ๋ชจ๋ธ๋ณด๋ค ๋ ๋์ ์ฅํธ ์์ฌ ์ผ๊ด์ฑ์ ๋ณด์ ๋๋ค.
- Noromaid / Openhermes ๋ณํ -- ๋ํํ ๋กคํ๋ ์ด์ ์ง์คํ ์ปค๋ฎค๋ํฐ ํ์ธํ๋ ๋ชจ๋ธ. Fimbulvetr๋ณด๋ค ์ฐ๋ฌธ ํ์ง์ ๋ฎ์ง๋ง ์บ๋ฆญํฐ ์ง์์ ๋ ์ ๋ฐ์ํฉ๋๋ค.
- Hugging Face์์ ์ด ๋ชจ๋ธ๋ค์ ๋ค์ด๋ก๋ํ๊ณ ("creative writing GGUF" ๊ฒ์) LM Studio์ ๋ชจ๋ธ ๋ธ๋ผ์ฐ์ ์์ ๋ก๋ํ๊ฑฐ๋ ์ปค์คํ Modelfile๊ณผ ํจ๊ป `ollama create`๋ฅผ ์ฌ์ฉํ์ฌ ๋ก๋ํ์ญ์์ค.
๋ก์ปฌ LLM ์ฐฝ์ ๊ธ์ฐ๊ธฐ๋ฅผ ํฅ์์ํค๋ ํ๋กฌํํ ํ
- ๋ฌธ์ฒด๋ฅผ ๊ตฌ์ฒด์ ์ผ๋ก ์ง์ ํ์ญ์์ค: "์ฝ๋งฅ ๋งค์นด์ ์คํ์ผ๋ก ์ฐ์ญ์์ค -- ๊ฐ๊ฒฐํ ๋ํ, ๊ธด ๋ฌ์ฌ ๋ฌธ์ฅ, ๋ฐ์ดํ ์์"์ด "๋ฌธํ ์์ค์ ์ฐ์ญ์์ค"๋ณด๋ค ํจ์ฌ ํจ๊ณผ์ ์ ๋๋ค.
- ๋ชจ๋ธ์๊ฒ ์ญํ ์ ๋ถ์ฌํ์ญ์์ค: "๋น์ ์ ์ ๋ฌธ ์์ค๊ฐ์ ๋๋ค. ์์ฝํ์ง ๋ง๊ณ ๋ณด์ฌ์ฃผ๊ธฐ ๋ฐฉ์์ผ๋ก๋ง ์ด ์ฅ๋ฉด์ ์ด์ด๊ฐ์ญ์์ค." ๋ชจ๋ธ์ด ์ ์๋ ์ ์ฒด์ฑ์ ๊ฐ์ง ๋ ์ง์ ์ดํ์ด ํฅ์๋ฉ๋๋ค.
- ์จ๋๋ฅผ 0.9-1.1๋ก ์ค์ ํ์ญ์์ค: ์ฐฝ์ ์์ ์ ๋์ ์จ๋(๋ ๋ง์ ๋ฌด์์์ฑ)์์ ์ ๋ฆฌํฉ๋๋ค. ๊ธฐ๋ณธ Ollama ์จ๋๋ 0.8์ด๊ณ LM Studio ๊ธฐ๋ณธ๊ฐ์ 0.7์ ๋๋ค. ํ๋ผ๋ฏธํฐ ์ฌ๋ผ์ด๋๋ฅผ ํตํด ์กฐ์ ํ์ญ์์ค.
- ์์คํ ํ๋กฌํํธ๋ฅผ ์ฌ์ฉํ์ญ์์ค: ์ธ์ ์์ค์์ ์ง์์ ์ธ ๋ฌธ์ฒด ์ง์๋ฅผ ์ค์ ํ์ญ์์ค. "๋น์ ์ ๊ณ ๋ ๊ณตํฌ ์์ค์ ์ฐ๊ณ ์์ต๋๋ค. ๋ชจ๋ ์๋ต์์ ์ด๋ก๊ณ ๋ถ์๊ธฐ ์๋ ์ฐ๋ฌธ์ ์ ์งํ์ญ์์ค."
- ๊ธด ์์ ์ ์น์ ์ผ๋ก ๋๋์ญ์์ค: 3,000๋จ์ด ์ฑํฐ์ ๊ฒฝ์ฐ 500๋จ์ด ์น์ ์ผ๋ก ๋๋์ด ์์ฑํ์ญ์์ค. ์ด๋ ๊ฒ ํ๋ฉด ๋ชจ๋ธ์ ์ ๋ขฐํ ์ ์๋ ์ผ๊ด์ฑ ๋ฒ์ ๋ด์์ ์์ ํ ์ ์์ต๋๋ค.
- ๋ก์ปฌ ์ถ๋ ฅ๊ณผ ํด๋ผ์ฐ๋ ์ถ๋ ฅ์ ๋น๊ตํ์ญ์์ค: PromptQuorum์ ์ฌ์ฉํ์ฌ ๋์ผํ ์ฐฝ์ ํ๋กฌํํธ๋ฅผ ๋ก์ปฌ Ollama ๋ชจ๋ธ๊ณผ ํด๋ผ์ฐ๋ ๋ชจ๋ธ์ ๋์์ ์ ์กํ์ญ์์ค -- ๋ก์ปฌ ํ์ง์ด ์ถฉ๋ถํ์ง ๋ณด์ ํ๋ ๋ฐ ์ ์ฉํฉ๋๋ค.
๋์ ํ๋กฌํํธ vs ์ข์ ํ๋กฌํํธ
- โ "ํํ์ง ์ด์ผ๊ธฐ๋ฅผ ์จ์ฃผ์ธ์" โ โ "๋ฐ์์ ์๊ฐ ๊ณ ๋ ์ ๋ฌผ์ ๋๊ณ ์ฉ๊ณผ ํ์ํ๋ 500๋จ์ด ํํ์ง ์ฅ๋ฉด์ ์ฐ์ญ์์ค. ๊ฐ๊ฐ์ ์ธ๋ถ ๋ฌ์ฌ๋ฅผ ์ฌ์ฉํ๊ณ ๋ํ๋ฅผ ๊ธด์ฅ๊ฐ ์๊ฒ ๋ง๋์ญ์์ค."
- โ "ํฅ๋ฏธ๋ก์ด ๊ฒ์ ์จ์ฃผ์ธ์" โ โ "์ผ์ด ํ์ด์ง ์ ๋ ์ฅ๋ฉด์ 300๋จ์ด ์คํ๋์ ์ฐ์ญ์์ค. ์ฃผ์ธ๊ณต์ด ์๋ฌด ๋์ค ํํธ๋๊ฐ ์์ ์ ๋ฐฐ์ ํ๋ค๋ ๊ฒ์ ์๊ฒ ๋ฉ๋๋ค. ๋น ๋ฅธ ํ์ด์ค์ ๋ง๊ฒ ์งง๊ณ ๊ฐ๋ ฌํ ๋ฌธ์ฅ์ ์ฌ์ฉํ์ญ์์ค."
- โ "๋ฏธ์คํฐ๋ฆฌ๋ฅผ ์จ์ฃผ์ธ์" โ โ "์ด ํ์ ์ฅ๋ฉด์ ์ด์ด์ ์ฐ์ญ์์ค: [์ด์ ํ ์คํธ]. ํ์ ์ด ํ ๊ฐ์ง ์ธ๋ถ ์ฌํญ์ ํตํด ์ฉ์์๊ฐ ๊ฑฐ์ง๋งํ๊ณ ์๋ค๋ ๊ฒ์ ๊นจ๋ซ์ต๋๋ค. ๊ทธ๋ ๊ฐ ์ด๋ป๊ฒ ๋ถ์ผ์น๋ฅผ ํฌ์ฐฉํ๋์ง ๋งํ์ง ๋ง๊ณ ๋ณด์ฌ์ฃผ์ญ์์ค."
- โ "๋ ํฅ๋ฏธ๋กญ๊ฒ ๋ง๋ค์ด ์ฃผ์ธ์" โ โ "์ด์ ๋จ๋ฝ์ ๋์๋ฅด ์์ค์ฒ๋ผ ๋ค์ ์ฐ์ญ์์ค: ๊ฐ๊ฒฐํ ๋ํ, ๋์์ ์ธ ๋ด๋ฉด ๋ ๋ฐฑ, ๊ตฌ์ฒด์ ์ธ ๊ฐ๊ฐ์ ์ธ๋ถ ๋ฌ์ฌ(์๋ฆฌ, ๋์, ์ง๊ฐ)."
๋ก์ปฌ LLM์ ํ์ฉํ ์ฐฝ์ ๊ธ์ฐ๊ธฐ: ์ง์ญ๋ณ ๋งฅ๋ฝ
์ ๋ฝ (GDPR ๋ฐ ๋ฐ์ดํฐ ๊ฑฐ์ฃผ): GDPR์ ์ฒ๋ฆฌ ์ ๋ฏผ๊ฐํ ๊ฐ์ธ ๋ฐ์ดํฐ(์บ๋ฆญํฐ ๋ฐฐ๊ฒฝ ์ด์ผ๊ธฐ, ์ถํ์ฉ ํฝ์ ์ฝํ ์ธ )๊ฐ EU ๋ด์ ์ ์ง๋ ๊ฒ์ ์๊ตฌํฉ๋๋ค. EU ๊ธฐ๋ฐ ํ๋์จ์ด์์ ๋ก์ปฌ ๋ชจ๋ธ์ ์คํํ๋ฉด ๊ท์ ์ค์๊ฐ ๋ณด์ฅ๋ฉ๋๋ค. ๋ ์ผ, ํ๋์ค ๋๋ ์ค์คํธ๋ฆฌ์ ์๋ฒ์ ๋ฐฐํฌ๋ LM Studio ๋ฐ Ollama๋ ํด๋ผ์ฐ๋ ์์กด ์์ด ์ 28์กฐ ์ฒ๋ฆฌ์ ๊ณ์ฝ์ ์ถฉ์กฑํฉ๋๋ค.
์ผ๋ณธ (ํ์งํ ๋ฐ ๋ฌธ์ ์ธ์ฝ๋ฉ): ์ผ๋ณธ์ด ์ฐฝ์ ๊ธ์ฐ๊ธฐ๋ ํผํฉ ๋ฌธ์(ํ๋ผ๊ฐ๋, ๊ฐํ์นด๋, ํ์), ๋ณต์กํ ๊ตฌ๋์ , ๋ฏธ๋ฌํ ๋์ด์ฐ๊ธฐ ๊ท์น์ ์ฌ์ฉํฉ๋๋ค. ์ผ๋ณธ ๋ฌธํ์ผ๋ก ํ์ธํ๋๋ ๋ชจ๋ธ์ ์์ด ์ต์ ํ ๋ชจ๋ธ๋ณด๋ค ์ด๋ฌํ ํจํด์ ๋ ์ ์ฒ๋ฆฌํฉ๋๋ค. LM Studio๋ UTF-8 ๋ฐ Unicode๋ฅผ ์ง์ํ๋ฉฐ, Ollama๋ Shisa-7B-v1 ๋ฐ Weblab-10B์ ๊ฐ์ ์ผ๋ณธ์ด ๋ชจ๋ธ๊ณผ ์๋ํฉ๋๋ค.
์ค๊ตญ (์ฝํ ์ธ ์ ์ฑ ๋ฐ ๋ชจ๋ธ ์ ๊ทผ): ์ค๊ตญ ๋ณธํ ๋ ํด๋ผ์ฐ๋ AI ์๋น์ค๋ฅผ ์ ํํ๊ณ ์ฝํ ์ธ ๊ฒ์ด ๊ท์ ์ค์๋ฅผ ์๊ตฌํฉ๋๋ค. Qwen3 ๋๋ Qwen1.5๋ก ๋ก์ปฌ์์ ์คํํ๋ฉด ์ง์ ํ์ ์ ํ์ ํผํ ์ ์์ต๋๋ค. ๋ก์ปฌ ๋ฐฐํฌ๋ ๋ ์ ์คํ ๋ฆฌ IP๋ฅผ ๊ด๋ฆฌํ๋ ์ค๊ตญ ์ถํ์ฌ, ๊ฒ์ ๊ฐ๋ฐ์ ๋ฐ ๊ธฐ์ ์ ์ ํฉํฉ๋๋ค.
๋ก์ปฌ LLM์ด ์์ค ์ฐฝ์์์ Claude๋ GPT-5.5 ๊ฐ์ ์๋ฌธ ๋ณด์กฐ ๋๊ตฌ๋ฅผ ๋์ฒดํ ์ ์์ต๋๊น?
๋จํธ ์ฝํ ์ธ (500๋จ์ด ์ดํ)์ ๊ฒฝ์ฐ, ์ ํ๋กฌํํ ๋ 13B+ ๋ก์ปฌ ๋ชจ๋ธ์ ๋ธ๋ผ์ธ๋ ํ ์คํธ์์ ํด๋ผ์ฐ๋ ๋ชจ๋ธ๊ณผ ๊ตฌ๋ณํ๊ธฐ ์ด๋ ค์ด ์ถ๋ ฅ์ ์์ฑํฉ๋๋ค. ์ฅํธ ์์ค(์์ค, ์์ ํ ๋จํธ ์์ค)์ ๊ฒฝ์ฐ, Claude Opus 4.8๊ณผ GPT-5.5๋ ์ด๋ค ํ๋์จ์ด ํฐ์ด์์๋ ์์ฌ์ ์ผ๊ด์ฑ์ ๋ ์์ ์ ์ผ๋ก ์ ์งํฉ๋๋ค. 70B ๋ก์ปฌ ๋ชจ๋ธ์ ์ด ๊ฒฉ์ฐจ๋ฅผ ์๋นํ ์ขํ๋๋ค.
๋ชจ๋ธ์ด ๋ด ์ด์ผ๊ธฐ์ ์ด์ ๋ถ๋ถ์ ๊ธฐ์ตํฉ๋๊น?
ํ์ฌ ์ปจํ ์คํธ ์ฐฝ ๋ด์์๋ง ๊ธฐ์ตํฉ๋๋ค. ๋ํ ๊ธฐ๋ก์ด ๋ชจ๋ธ์ ์ปจํ ์คํธ ํ๋(์ผ๋ฐ์ ์ผ๋ก 4K-128K ํ ํฐ)๋ฅผ ์ด๊ณผํ๋ฉด ์ด์ ์ธ๋ถ ์ฌํญ์ ์ํ์ง๋๋ค. ์ฅ๊ธฐ ํ๋ก์ ํธ์ ๊ฒฝ์ฐ, ๊ฐ ์ธ์ ์์ ์ ์ ๊ธฐ์ ์ผ๋ก ์ด์ผ๊ธฐ ์์ฝ์ ์ ๊ณตํ์ฌ ์ปจํ ์คํธ๋ฅผ ์ฌ์ค์ ํ์ญ์์ค.
๊ฐ์ฅ ์์ํ ์ฐ๋ฌธ์ ์์ฑํ๋ ๋ก์ปฌ ๋ชจ๋ธ์ ๋ฌด์์ ๋๊น?
Q5_K_M ์์ํ๋ก ์คํํ Llama 3.3 70B๊ฐ ๊ฐ์ฅ ์ผ๊ด๋๊ฒ ์์ํ ๊ฐ๊ฐ์ ์ธ๋ถ ๋ฌ์ฌ์ ์์ฐ์ค๋ฌ์ด ๋ํ ํ๋ฆ์ ์์ฑํฉ๋๋ค. Mistral Small 3.1 24B๋ 70B์ 45 GB RAM ๋๋น 14 GB RAM์ผ๋ก ์ด ํ์ง์ 80-85%๋ฅผ ๋ฌ์ฑํฉ๋๋ค. 13B ๊ธฐ๋ณธ ๋ชจ๋ธ์ Fimbulvetr-11B ํ์ธํ๋๋ ๋ ์ ์ ๋ฆฌ์์ค ์์ฐ์ผ๋ก ์ฐ๋ฌธ์ ํ๋ถํจ์์ ํ์ํฉ๋๋ค.
์ฑํฐ ์ ๋ฐ์ ๊ฑธ์ณ ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ์ ๋ถ์ผ์น๋ฅผ ์ด๋ป๊ฒ ์ฒ๋ฆฌํฉ๋๊น?
์์คํ ํ๋กฌํํธ์ ์์ธํ ์บ๋ฆญํฐ ์ํธ(์ด๋ฆ, ๋ฐฐ๊ฒฝ, ๋งํฌ ํจํด, ๋๊ธฐ)๋ฅผ ์ ๊ณตํ์ญ์์ค. ๊ฐ ์ ์ฑํฐ์์ ๋ค์์ผ๋ก ์์ํ์ญ์์ค: "๋น์ ์ [์บ๋ฆญํฐ]๋ก ๊ธ์ ์ฐ๊ณ ์์ต๋๋ค. ๋ค์ ๋ชฉ์๋ฆฌ์ ๊ด์ ์ ์ ์งํ์ญ์์ค..." ๊ทธ๋ฐ ๋ค์ ์บ๋ฆญํฐ ์ํธ๋ฅผ ๋ถ์ฌ๋ฃ์ผ์ญ์์ค. ์ด๋ 500-2,000๋จ์ด ์น์ ์์ ์ผ๊ด์ฑ์ ์ ์งํฉ๋๋ค.
์์ํ(Q4, Q5, Q8)๊ฐ ์ฐฝ์ ๊ธ์ฐ๊ธฐ์์ ๋์ ๋๋๊น?
๋ค, ์ธก์ ๊ฐ๋ฅํ๊ฒ ์ฐจ์ด๊ฐ ๋ฉ๋๋ค. FP16(์์ ์ ๋ฐ๋)๊ณผ Q8์ ๊ฑฐ์ ๋์ผํ ์ฐ๋ฌธ์ ์์ฑํฉ๋๋ค. Q5๋ ๋ฏธ๋ฌํ ํํํ๋ฅผ ๊ฐ์ ธ์ต๋๋ค -- ๋ ๊ณ ์ ํ ํ์ฉ์ฌ, ์ฝ๊ฐ ๋ฐ๋ณต์ ์ธ ๋ฌธ๊ตฌ(์ฌ์ฉ์์ 5-10%๊ฐ ์ธ์ง). Q4๋ ๋ช ํํ ํ์ง ์ ํ๋ฅผ ๋ง๋ญ๋๋ค: ์ผ๋ฐ์ ์ธ ๋ฌ์ฌ, ๊ฐ๊ฐ์ ์ธ๋ถ ์ฌํญ ๋๋ฝ. ์์ค์ ๊ฒฝ์ฐ Q5_K_M์ด ์ต์ ๊ถ์ฅ ์ฌํญ์ด๋ฉฐ, Q8_K_M์ด ์ด์์ ์ ๋๋ค.
๋ก์ปฌ LLM์ ๋ด ๊ธ์ฐ๊ธฐ ์คํ์ผ๋ก ํ์ธํ๋ํ ์ ์์ต๋๊น?
๋ค. .jsonl ํ์(์ ๋ ฅ/์ถ๋ ฅ ์)์ผ๋ก 500-2,000๊ฐ์ ์ฐ๋ฌธ ์์ ๋ฅผ ์์งํ ๋ค์, 24 GB GPU์์ Unsloth ๋๋ Axolotl ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ 13B ๋ชจ๋ธ์ 4-8์๊ฐ ๋์ ํ์ธํ๋ํ์ญ์์ค. ๋น์ฉ: ํด๋ผ์ฐ๋ GPU ๊ธฐ์ค ์ฝ $5-15. ๊ฒฐ๊ณผ: ๋น์ ์ ๋ชฉ์๋ฆฌ๋ฅผ ๋ชจ๋ฐฉํ๋ ๋ชจ๋ธ. LoRA(์ ๋ญํฌ ์ ์) ํ์ธํ๋์ ์ ์ฒด ํ์ธํ๋๋ณด๋ค ๋น ๋ฅด๊ณ ์ ๋ ดํฉ๋๋ค.
์ฐฝ์ ๊ธ์ฐ๊ธฐ์ ์ฐฝ์ *๋ํ* ํ์ง์ ์ฐจ์ด๋ ๋ฌด์์ ๋๊น?
๋ํ๋ ๋ ํ์ดํธํ ๋จ์ด ๊ฒฝ์ ์ฑ๊ณผ ๋๋ ทํ ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ๋ฅผ ์๊ตฌํ๋ฉฐ, ์ฐ๋ฌธ์ ๊ฐ๊ฐ์ ํ๋ถํจ๊ณผ ์์ฌ์ ํ๋ฆ์ ์๊ตฌํฉ๋๋ค. Llama 3.3 70B๋ ๋ ๊ฐ์ง ๋ชจ๋์์ ํ์ํฉ๋๋ค. ์ํ ๋ชจ๋ธ(7B, 8B)์ ์ข ์ข ํ๋ฒํ๊ณ ์ผ๋ฐ์ ์ธ ๋ํ๋ฅผ ์์ฑํฉ๋๋ค. ๋ํ ์ค์ฌ ์์ค์ ์ง์คํ๋ค๋ฉด ์ฐ๋ฌธ ํ์ง๋ณด๋ค ๊ฐ๋ ฅํ ์ง์ ์ดํ ๋ฅ๋ ฅ์ ๊ฐ์ถ ๋ชจ๋ธ์ ์ฐ์ ์ํ์ญ์์ค; Mistral Small์ ๋ํ ํ์ง์ Llama 8B์ ๋ง๋จน์ต๋๋ค.
์ ์ฒด ์์ค ๊ฐ์์ ์ผ๋ง๋ ๋ง์ ์ปจํ ์คํธ(ํ ํฐ)๊ฐ ํ์ํฉ๋๊น?
80,000๋จ์ด ์์ค์ ์์ธ ๊ฐ์(์ค๊ฑฐ๋ฆฌ, ์บ๋ฆญํฐ, ์ฑํฐ, ๊ฐ๋ฑ)๋ ์ผ๋ฐ์ ์ผ๋ก 3,000-6,000 ํ ํฐ์ ๋๋ค. 128K ์ปจํ ์คํธ ๋ชจ๋ธ(Llama 3.2, Phi-4)์ ์ฌ์ฉํ๋ฉด ํ ์ธ์ ์์ ์ ์ฒด ๊ฐ์์ ์ด์ ์ฑํฐ๋ฅผ ๋ก๋ํ ์ ์์ต๋๋ค. 4K-8K ์ปจํ ์คํธ ๋ชจ๋ธ์ ๊ฒฝ์ฐ ๋กค๋ง ์์ฝ์ ์ ๊ณตํ์ญ์์ค: ์ด์ ์ฑํฐ ์์ฝ + ๋ค์ 3๊ฐ ์ฑํฐ ๊ฐ์.
์ฐฝ์ ๊ธ์ฐ๊ธฐ์ ์ต์ ํ๋ ๋ก์ปฌ LLM์ ์คํํ๋ ค๋ฉด GPU๊ฐ ํ์ํฉ๋๊น?
์๋์, ํ์ง๋ง GPU๋ ์์ฑ ์๋๋ฅผ ํฌ๊ฒ ํฅ์์ํต๋๋ค. CPU(8์ฝ์ด)์ 13B ๋ชจ๋ธ: ์ด๋น 10-15 ํ ํฐ. 10GB GPU(RTX 3060)์ ๋์ผํ ๋ชจ๋ธ: ์ด๋น 80-100 ํ ํฐ. ๋ฐ๋ณต์ ์ธ ์ฐฝ์ ๊ธ์ฐ๊ธฐ(๋ณํ ํ ์คํธ, ๋ค์ ์ฐ๊ธฐ)์ ๊ฒฝ์ฐ GPU๋ ์ธ์ ์๊ฐ์ 2์๊ฐ์์ 15๋ถ์ผ๋ก ๋จ์ถํฉ๋๋ค. CPU๋ ์ผํ์ฑ ์์ฑ์ด๋ ๊ฐ์ ์์ฑ์ ์ ํฉํฉ๋๋ค.
SF ์ธ๊ณ ๊ตฌ์ถ์ ๊ฐ์ฅ ์ข์ ๋ก์ปฌ LLM์ ๋ฌด์์ ๋๊น?
50ํ์ด์ง ์ด์์ ๊ฐ์์์ ์ผ๊ด์ฑ์ ์ํด Llama 3.3 70B๋ฅผ ์ฌ์ฉํ์ญ์์ค. ๊ธฐ์ ์ ์ ํ์ฑ(๋ฌผ๋ฆฌํ, ๊ถค๋ ์ญํ, ํํ)์ ์ํด์๋ Qwen3 14B-32B๋ฅผ ์ฌ์ฉํ์ญ์์ค. ํ๋ถํ ๋ฌ์ฌ์ ์ธ๊ณ ์ธ๋ถ ์ฌํญ์ ์ํด์๋ Fimbulvetr-11B๋ฅผ ์ฌ์ฉํ์ญ์์ค. ์์ฐ์ด ์ ํ๋ ์ค์ ์์๋ Mistral Small 3.1 24B๊ฐ ์ธ๊ณ ์ผ๊ด์ฑ๊ณผ ๋ฆฌ์์ค ์ฌ์ฉ์ ๊ท ํ์ ๋ง์ถฅ๋๋ค. ๊ฒฐ์ ์ ์ ์ํ ์ธ๊ณ ๋ฌ์ฌ๋ก ์ธ ๋ชจ๋ธ ๋ชจ๋ ํ ์คํธํ์ญ์์ค.
์ถ์ฒ
- Llama 3.3 ๋ฆด๋ฆฌ์ค ๋ฐํ -- ์ฐฝ์ ๊ธ์ฐ๊ธฐ ๋ฒค์น๋งํฌ ๊ฒฐ๊ณผ๊ฐ ํฌํจ๋ Meta์ ๊ณต์ ๋ชจ๋ธ ๋ ผ๋ฌธ
- Mistral AI ๋ชจ๋ธ ์นด๋ -- Mistral Small 3.1 ์ฌ์ ๋ฐ ์์ํ ๊ฐ์ด๋
- Fimbulvetr ํ๋ก์ ํธ -- ์ปค๋ฎค๋ํฐ๊ฐ ์ ์ง ๊ด๋ฆฌํ๋ ์ฐฝ์ ๊ธ์ฐ๊ธฐ ํ์ธํ๋ ๋ชจ๋ธ ์ปฌ๋ ์
์ฐฝ์ ๊ธ์ฐ๊ธฐ ํ๋กฌํํ ์ ํํ ์ค์
- ๊ตฌ์ฒด์ ์ธ ๋ชฉํ์ ์ผ๋ฐ์ ์ธ ํ๋กฌํํธ ์ฌ์ฉ: "์ด์ผ๊ธฐ๋ฅผ ์จ์ฃผ์ธ์"๋ ์ผ๋ฐ์ ์ธ ์ถ๋ ฅ์ ์์ฑํฉ๋๋ค. ๋์ : "์ ๋ ์ฅ๋ฉด์ 800๋จ์ด ์คํ๋์ ์ฐ์ญ์์ค. ์ฃผ์ธ๊ณต์ด ๊ธ๊ณ ๊ฐ ์ด๋ฏธ ๋น์ด์๋ค๋ ๊ฒ์ ๋ฐ๊ฒฌํฉ๋๋ค. ๊ทธ๋ ์ ๊ฐ์ ์ ๋ฐ์์ ๋ฌผ๋ฆฌ์ ๋ฌ์ฌ๋ฅผ ํตํด ๋งํ์ง ๋ง๊ณ ๋ณด์ฌ์ฃผ์ญ์์ค."
- ์์ํ ํจ๊ณผ ๋ฌด์: ์์ ์ ๋ฐ๋์ ๋์ผํ ์ฐ๋ฌธ ํ์ง์ ๊ธฐ๋ํ๋ฉฐ Q4๋ก 13B ๋ชจ๋ธ์ ์คํํ๋ ๊ฒ. Q4๋ ๋์ ๋๊ฒ ์ฐ๋ฌธ์ ํํํํฉ๋๋ค. ์ฐฝ์ ๊ธ์ฐ๊ธฐ์๋ ์ต์ Q5_K_M์, ์ถํ ๊ฐ๋ฅํ ํ์ง์๋ Q8์ ์ฌ์ฉํ์ญ์์ค.
- ์จ๋ ๋ฐ ์ํ๋ง ๋งค๊ฐ๋ณ์ ๋ฌด์: ์ฐฝ์ ์์ ์ ๊ธฐ๋ณธ ์จ๋(0.7-0.8)๋ฅผ ์ฌ์ฉํ๋ ๊ฒ. ๋ ๋ค์ํ๊ณ ํฅ๋ฏธ๋ก์ด ์ฐ๋ฌธ์ ์ํด 0.95-1.1๋ก ๋์ด๊ณ top_p๋ฅผ 0.85-0.9๋ก ์ค์ ํ์ญ์์ค. ๋๋ฌด ๋์ผ๋ฉด(>1.2) ๋น์ผ๊ด์ ์ธ ์ถ๋ ฅ์ด ๋ฐ์ํฉ๋๋ค.
- ์ปจํ ์คํธ ๊ฐ์ ๋ฌด์: ํ ๋ํ์์ 2,000-4,000 ํ ํฐ ์ดํ, 70B ๋ชจ๋ธ์กฐ์ฐจ๋ ์ด๊ธฐ ์บ๋ฆญํฐ ์ธ๋ถ ์ฌํญ์ ์์ด๋ฒ๋ฆฝ๋๋ค. ์ ๊ธฐ์ ์ผ๋ก ์บ๋ฆญํฐ ์์ฝ์ ๋ค์ ์๊ฐํ๊ฑฐ๋ ์ ์ธ์ ์ ์์ํ์ญ์์ค.
- ๋ก์ปฌ ๋ชจ๋ธ์ ํด๋ผ์ฐ๋ ๋ชจ๋ธ์ฒ๋ผ ์ทจ๊ธ: Claude 4 ๊ฐ์ ํด๋ผ์ฐ๋ ๋ชจ๋ธ์ ์ฅํธ ๊ณํ๊ณผ ๋ค๋จ๊ณ ์์ ์์ ํ์ํฉ๋๋ค. ๋ก์ปฌ ๋ชจ๋ธ์ ์๊ฒฉํ ํ๋กฌํํธ๋ฅผ ์ฌ์ฉํ ์ฅ๋ฉด๋ณ ์์ฑ์์ ํ์ํฉ๋๋ค. ์คํ์๋ ๋ก์ปฌ์, ๊ฐ์ ์์ฑ์๋ ํด๋ผ์ฐ๋๋ฅผ ์ฌ์ฉํ์ญ์์ค.