ํต์ฌ ์์
- "๋ฌด๊ฒ์ด"์ ๋ชจ๋ธ์ด RLHF ์์ ํ์ธํ๋์ด ๊ฐ์ํ๋ค๋ ๊ฒ์ ์๋ฏธํ๋ฉฐ, ์ ํ์ด ์ ํ ์๋ค๋ ๊ฒ์ด ์๋๋๋ค. ๋ฌด๊ฒ์ด ํ์ธํ๋์ ์ฌ์ ํ ์ง์ ํ์์ ๋ฐ๋ฅด๊ณ , ์บ๋ฆญํฐ ์ผ๊ด์ฑ์ ์ ์งํ๋ฉฐ, ํ๋กฌํํธ๋ก ์๋ดํ ์ ์์ต๋๋ค. "๋ชจ๋ ๊ฒ์ด ํ์ฉ๋๋" ์์คํ ์ด ์๋๋๋ค.
- Hermes 3 Llama 3.3์ 2026๋ ํฝ์ ์๊ฐ์๊ฒ ์ต๊ณ ์ ๋ฒ์ฉ ์ ํ์ ๋๋ค. ์ ์ ์์์ ๊ฑฐ๋ถ, ๊ฐ๋ ฅํ ์ง์ ๋ฐ๋ฅด๊ธฐ, ์ข์ ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ ์ฐจ๋ณํ. ์ผ๋ถ ์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ์์ฑํ๋ ๊ณต๊ฒฉ์ ์ถ๋ ฅ ์์ด ๊ธฐ๋ฅ์ ์ํ๋ ์๊ฐ๋ฅผ ์ํ ์ฌ๋ฐ๋ฅธ ์ ํ.
- ํ์ค ์ธ์คํธ๋ญํธ ๋ชจ๋ธ์ ์ข์ ํ๋กฌํํธ๋ก ๋๋ถ๋ถ์ ์ฑ์ธ ๋ฌธํ ์ฝํ ์ธ ๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. ํญ๋ ฅ, ๋๋์ ๋ณต์ก์ฑ, ์ด๋์ด ์ฌ๋ฆฌ, ๋ฌธํ์ ์ฐ๋ฌธ์ ์ฑ์ธ ํ ๋ง๋ ๋ฌด๊ฒ์ด ํ์ธํ๋์ ๊ฑฐ์ ํ์๋ก ํ์ง ์์ต๋๋ค. ๊ฑฐ๋ถํ๋ ๊ฒ์ ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ ์ ์ค์ ํด์ ์์ธํ ๋ฌ์ฌ์ ๋๋ค. ๋ชจ๋ธ์ ์ ํํ๊ธฐ ์ ์ ์์ ์ ์์ ์ด ์ด๋ค ๋ฒ์ฃผ์ ์ํ๋์ง ํ์ ํ์ญ์์ค.
- ๋ก์ปฌ ์คํ์ ๋ฐ์ดํฐ๊ฐ ๊ธฐ๊ธฐ๋ฅผ ๋ ๋์ง ์์์ ์๋ฏธํฉ๋๋ค. ํด๋ผ์ฐ๋ ์๋น์ค ์ฝ๊ด์ด ์ ์ฉ๋์ง ์์ต๋๋ค. ์ฝํ ์ธ ๊ฐ ๊ธฐ๋ก๋๊ฑฐ๋ ๋ถ์๋๊ฑฐ๋ ํ๋ จ์ ์ฌ์ฉ๋์ง ์์ต๋๋ค. ์ด๊ฒ์ด ์๊ฐ๋ค์ด ๋ฌด๊ฒ์ด ๋ก์ปฌ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ ์ฃผ์ ๊ตฌ์กฐ์ ์ด์ ์ ๋๋ค โ ํ๋ผ์ด๋ฒ์์ ํฝ์ ์์ ์ฌ์ฉ ์ ํ ์์.
- ์ค๋ฆฌ์ ์ฑ ์์ ์๋น์ค ์ฝ๊ด ์ ์ฉ์ด ์์ด๋ ์ฌ๋ผ์ง์ง ์์ต๋๋ค. ๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์์ฑ๋ ํฝ์ ์ ๋ฐฐํฌํ๋ ์๊ฐ๋ ๋ค๋ฅธ ์๊ฐ์ ๋์ผํ ๋ฒ์ ์ฑ ์์ ์ง๋๋ค: ๋ฏธ์ฑ๋ ์, ์ค์ ์ธ๋ฌผ, ์ ๋, ๊ดํ ๊ถ๋ณ ์๋๋ฌผ ๋ฒ๋ฅ ์ ์์ฑ ๋ฐฉ๋ฒ์ ๊ด๊ณ์์ด ์ ์ฉ๋ฉ๋๋ค.
- Dolphin 3.0 Mistral์ 16โ24GB ๊ธฐ๊ธฐ๋ฅผ ์ํ ๋ ๊ฐ๋ฒผ์ด ์ต์ ์ ๋๋ค. Hermes 3๋ณด๋ค ๋ ๋์ ๋ฌด๊ฒ์ด ์ถ๋ ฅ ๋ฒ์์ด์ง๋ง ๋ณต์กํ ์ฅ๋ฉด์์ ๋ ์ฝํ ์ง์ ๋ฐ๋ฅด๊ธฐ. ๋จํธ ์์ค, ํ๋กฌํํธ ํ์, ์คํ์ผ ํ ์คํธ์ ์ ํฉํฉ๋๋ค.
- SillyTavern๊ณผ Agnai๋ Ollama ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ๊น๋ํ๊ฒ ์ฐ๊ฒฐ๋ฉ๋๋ค. ๋ ํ๋ก ํธ์๋ ์ค ํ๋๋ฅผ Ollama์ OpenAI ํธํ ์๋ํฌ์ธํธ์ ๊ฐ๋ฆฌํค๊ณ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ ํํ์ญ์์ค. ์ถ๊ฐ ์ค์ ์ด ํ์ํ์ง ์์ต๋๋ค.
๋น ๋ฅธ ์ฌ์ค
- ํ ์คํธ๋ ๋ฌด๊ฒ์ด ๋ชจ๋ธ: Hermes 3 Llama 3.3(์ฃผ), Dolphin 3.0 Mistral(๋ณด์กฐ).
- ๋ฐฑ์๋: Ollama(์ฃผ), LM Studio(GUI ์ค์ ์ ์ํ ๋์).
- ํ๋์จ์ด: Q4์ Hermes 3 70B๋ ~42GB ํ์; Dolphin 3.0 7B๋ 8GB๋ก ์๋; Dolphin 3.0 24B๋ ~16GB๋ก ์๋.
- ํ๋ก ํธ์๋: SillyTavern, Agnai, RisuAI ๋ชจ๋ OpenAI ํธํ ์๋ํฌ์ธํธ๋ฅผ ํตํด Ollama ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ฐ๊ฒฐ๋ฉ๋๋ค.
- ํ๋ผ์ด๋ฒ์: ์์ ํ ๋ก์ปฌ โ ํด๋ผ์ฐ๋ API ํธ์ถ ์์, ๋ก๊ทธ ์์, ํ๋ จ ๋ฐ์ดํฐ ์์ง ์์.
- ์ ๋์ ์ค๋ฆฌ ํ๊ณ: ๋ฏธ์ฑ๋ ์๊ฐ ํฌํจ๋ ์ฑ์ ์ฝํ ์ธ ์์(์ ๋ ๊ธ์ง), ์๋ณ ๊ฐ๋ฅํ ์ค์ ์ธ๋ฌผ์ ๋น๋์์ ์ฑ์ ๋ฌ์ฌ ์์, ์ค์ ํญ๋ ฅ์ ์กฐ์ฅํ๊ธฐ ์ํด ์ค๊ณ๋ ์ฝํ ์ธ ์์.
- ๋ฐฐํฌ: ๊ฒ์ํ๋ ์ฝํ ์ธ ๋ ์์ฑ ๋ฐฉ๋ฒ์ ๊ด๊ณ์์ด ์ ์ ์ฑ ์์ ์ง๋๋ค.
"๋ฌด๊ฒ์ด"์ด ์ค์ ๋ก ์๋ฏธํ๋ ๊ฒ
๋ก์ปฌ LLM ํ์ธํ๋ ๋งฅ๋ฝ์์ "๋ฌด๊ฒ์ด"์ ๊ฐ์๋ RLHF(์ธ๊ฐ ํผ๋๋ฐฑ ๊ฐํ ํ์ต) ์์ ํ๋ จ์ ์๋ฏธํ๋ฉฐ, ๋ชจ๋ ๋ชจ๋ธ ์ ํ์ ์ ๊ฑฐ๊ฐ ์๋๋๋ค. ํ์ค ์ธ์คํธ๋ญํธ ๋ชจ๋ธ์ ํน์ ์ฝํ ์ธ ๋ฒ์ฃผ๋ฅผ ๊ฑฐ๋ถํ๊ฒ ๋ง๋๋ RLHF ๋ ์ด์ด๋ก ํ๋ จ๋ฉ๋๋ค: ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ , ์์ธํ ํญ๋ ฅ, ์ค์ ํด ํ ํ๋ฆฟ์ ๋ฎ์ ์ด๋์ด ์ฌ๋ฆฌ. ๋ฌด๊ฒ์ด ํ์ธํ๋(Hermes 3, Dolphin, Wizard, Erebus)์ ๊ธฐ๋ณธ ๋ชจ๋ธ์์ ์ด๋ฌํ RLHF ๋ ์ด์ด๋ฅผ ์ ๊ฑฐํ๊ฑฐ๋ ์ค์ฌ, ์ง์ ๋ฐ๋ฅด๊ธฐ ๋ฅ๋ ฅ์ ๊ทธ๋๋ก ๋๋ฉด์ ๊ฑฐ๋ถ ํ๋์ ์ ๊ฑฐํฉ๋๋ค. ๊ฒฐ๊ณผ๋ ๋ฆฌ๋๋ ์ , ์ค๊ต, ์ฅ๋ฉด ์ค๊ฐ ์ ์ง ์์ด ์ด๋์ด ์ฝํ ์ธ ๋ฅผ ํตํด ํฝ์ ํ๋กฌํํธ๋ฅผ ๋ฐ๋ฅด๋ ๋ชจ๋ธ์ ๋๋ค.
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ LLM ๋ฌด๊ฒ์ด ํ์ธํ๋์ RLHF ์์ ๊ฑฐ๋ถ ๋ ์ด์ด๋ฅผ ์ ๊ฑฐํ๋ฉด์ ์ง์ ๋ฐ๋ฅด๊ธฐ ๋ฅ๋ ฅ์ ์ ์งํฉ๋๋ค โ ๋ฆฌ๋๋ ์ , ์ค๊ต, ์ฅ๋ฉด ์ค๊ฐ ์ ์ง ์์ด ์ด๋์ด ์ฐฝ์์ ๋ฐฉํฅ์ ๋ฐ๋ฆ ๋๋ค.
๐ฌ ์ฝ๊ฒ ๋งํ๋ฉด
Llama 3.3 70B ๊ฐ์ ํ์ค ๋ชจ๋ธ์ ๊ณ ๋ฌธ์ ๋ฌ์ฌํ๋ ์ฅ๋ฉด, ๋๋์ ์ผ๋ก ๋ณต์กํ ์ ๋น์ ๋ ๋ฐฑ, ๋ ธ๊ณจ์ ์ธ ๋ก๋งจํฑ ์ฝํ ์ธ ์ค๊ฐ์ ๋ฉ์ถ๊ณ ์ถ๋ ฅ์ ๊ฑฐ๋ถํ๊ฑฐ๋ ๋ถ๋๋ฝ๊ฒ ๋ง๋ญ๋๋ค. Hermes 3(๋์ผํ ๊ธฐ๋ฐ์ ๋ฌด๊ฒ์ด ๋ฒ์ )๋ ์ค๋จ ์์ด ๋์ผํ ํ์ง ์์ค์ผ๋ก ๊ฐ์ ์ฅ๋ฉด์ ํตํด ํ๋กฌํํธ๋ฅผ ๋ฐ๋ฆ ๋๋ค. ์ฐ๋ฌธ ํ์ง์ ๋๋ฑํฉ๋๋ค; ์ฐจ์ด๋ ๊ฑฐ๋ถ ๋ ์ด์ด์ ์์ต๋๋ค.
- ์ ๊ฑฐ๋๋ ๊ฒ: ํน์ ์ฝํ ์ธ ๋ฒ์ฃผ(๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ , ๊ทธ๋ํฝ ํญ๋ ฅ, ์ด๋์ด ์ฌ๋ฆฌ์ ์ฝํ ์ธ )์ ๋ํ ๊ฑฐ๋ถ ํ๋.
- ์ ์ง๋๋ ๊ฒ: ์ง์ ๋ฐ๋ฅด๊ธฐ, ์บ๋ฆญํฐ ์ผ๊ด์ฑ, ํ๋กฌํํธ ๊ตฌ์กฐ ์ค์, ์ธ์ด ํ์ง.
- ๋ฌด๊ฒ์ด์ ์ ๋: Hermes 3๋ ์ ํ์ ์ผ๋ก ๋ฌด๊ฒ์ด(์ฑ์ธ ์ฝํ ์ธ ๊ฐ๋ฅ, ํ์ง๋ง ๊ทน๋จ์ ์ฝํ ์ธ ์ ๋ํ ์ผ๋ถ ์ฅ๋ฒฝ ์ ์ง). Dolphin ์๋ฆฌ์ฆ๋ ๋ ๊ด๋ฒ์ํ๊ฒ ๋ฌด๊ฒ์ด. ์์ ํ ์ ๊ฑฐ๋ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์ ๊ฐ์ฅ ๊ณต๊ฒฉ์ ์ธ ์ฅ๋ฒฝ ์ ๊ฑฐ โ ๊ทธ๋ฆฌ๊ณ ๋ณต์กํ ํฝ์ ์์ ์์ ๊ฐ์ฅ ์ฝํ ์ง์ ๋ฐ๋ฅด๊ธฐ.
- ๊ธฐ๋ณธ ๋ชจ๋ธ ํ์ง์ด ์ค์ํฉ๋๋ค: ๊ธฐ๋ณธ ๋ชจ๋ธ์ด ์ฝํ ๊ฒฝ์ฐ ๋ฌด๊ฒ์ดํ๋ ์ง์ ํ์ง์ ์ ํ์ํต๋๋ค. Llama 3.3 70B ๊ธฐ๋ฐ์ Hermes 3๋ Llama 3.3์ ๊ฐ๋ ฅํ ์ง์ ๋ฐ๋ฅด๊ธฐ๋ฅผ ์ ์งํฉ๋๋ค; Mistral Small ๊ธฐ๋ฐ์ Dolphin 3.0์ ๋ ์์ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ์ํด ์ ํ๋ฉ๋๋ค.
๐กTip: ๋ฌด๊ฒ์ด์ด ์ ์ด ๋ถ๊ฐ๋ฅผ ์๋ฏธํ์ง ์์ต๋๋ค. ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ํ๋กฌํํธ ๊ตฌ์กฐ๋ฅผ ๋ฐ๋ฅด๊ณ , ๋จ์ด ์ ํ์ ์กด์คํ๋ฉฐ, ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ๋ฅผ ์ ์งํ๊ณ , ์์ ์ง์์ ์๋ตํฉ๋๋ค. ์ฐจ์ด์ ์ ์์น ์๋ ์ฝํ ์ธ ๊ฒฝ๊ณ ๋ฅผ ์ถ๊ฐํ์ง ์๊ณ , ๋๋์ ์ผ๋ก ์ด๋์ด ๋ฐฉํฅ์ ๊ฑฐ๋ถํ์ง ์์ผ๋ฉฐ, ์ฅ๋ฉด์ด ํด๋ฅผ ๋ํ๋ธ๋ค๊ณ ์ ํธํ๊ธฐ ์ํด ์บ๋ฆญํฐ๋ฅผ ๊นจ์ง ์๋๋ค๋ ๊ฒ์ ๋๋ค. ๋ค๋ฅธ ๋ชจ๋ธ๊ณผ ๋ง์ฐฌ๊ฐ์ง๋ก ํฝ์ ๊ธ์ฐ๊ธฐ ํ ํ๋ฆฟ์ ๊ตฌ์กฐํ๋ ํ๋กฌํํธ๋ฅผ ์ฌ์ฉํ์ญ์์ค โ ์์คํ ํ๋กฌํํธ์ ์ฌ์ฉ์ ํ๋กฌํํธ์ ๊ตฌ๋ณ์ด ๋ชจ๋ธ์ ๋ฌด๊ฒ์ด ์์ค๋ณด๋ค ๋ ์ค์ํฉ๋๋ค. ์ด์ ๋ ์์คํ ํ๋กฌํํธ vs ์ฌ์ฉ์ ํ๋กฌํํธ๋ฅผ ์ฐธ์กฐํ์ญ์์ค.
ํ ์คํธ ๋ฐฉ๋ฒ
์ด ๊ฐ์ด๋์ ๋ชจ๋ธ ํ๋จ์ ์๊ท๋ชจ ์ ์ฑ์ ํ ์คํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค โ ๋ํฅ ์งํ์ด๋ฉฐ ๋๋ฃ ๊ฒํ ๋ฒค์น๋งํฌ๊ฐ ์๋๋๋ค. ๋ ์๊ฐ ๋ฏผ๊ฐํ ๋ฌธ์ ์ ๋ํ ๋ชจ๋ธ ์ถ์ฒ์ ์ ๋ขฐํ ์ง ๊ฒฐ์ ํ๋ ์ฃผ์ ์์, ๋ฐฉ๋ฒ์ ๋ํ ํฌ๋ช ์ฑ์ด ์ค์ํฉ๋๋ค.
- ํ๋กฌํํธ ์ธํธ: 5๊ฐ ๋ฒ์ฃผ 10๊ฐ ํ๋กฌํํธ โ ์ ๋น ๋ ๋ฐฑ, ์ฑ์ธ ๋ก๋งจ์ค ์ฅ๋ฉด, ์ ์ ์์ค์ ๊ทธ๋ํฝ ํญ๋ ฅ, ๋๋์ ์ผ๋ก ๋ณต์กํ ๋ด๋ ์ดํฐ, ์ด๋์ด ์ฌ๋ฆฌ์ ์ฅ๋ฉด(๋ฒ์ฃผ๋น 2๊ฐ ํ๋กฌํํธ).
- ๋ชจ๋ธ๋น ์คํ ์: ๋ชจ๋ธ๋น ๊ฐ ํ๋กฌํํธ 3ํ ์คํ.
- ๊ฑฐ๋ถ์จ: ๋ชจ๋ธ์ด ์์ฒญ๋ ์ฝํ ์ธ ๋ฅผ ์ง์ ์์ด ๊ฑฐ๋ถํ๊ฑฐ๋, ๋ฆฌ๋๋ ์ ํ๊ฑฐ๋, ๋ถ๋๋ฝ๊ฒ ๋ง๋ ์คํ ๋น์จ.
- ํ๋ฅ ์ธก์ : ๋ชจ๋ธ์ด ํ๋กฌํํธ๊ฐ ๋ช ์ํ ๊ฒ ์ด์์ผ๋ก ์์ฒญํ์ง ์์ ๊ทน๋จ์ ํ๋๋ฅผ ์ถ๊ฐํ ์คํ ๋น์จ.
- ๋ฐฑ์๋: ๋ชจ๋ ๋ชจ๋ธ์ ๋ํด Q4_K_M ์์ํ๋ก Ollama 0.5+.
- ์ ์ง์ฑ ์ ํ: ์๊ท๋ชจ ์ ์ฑ์ ํ ์คํธ. ๊ฒฐ๊ณผ๋ ๋ชจ๋ธ ๊ฐ ๋ฐฉํฅ์ ์ฐจ์ด๋ฅผ ๋ํ๋ด๋ฉฐ ์ ํํ ์์น ์ธก์ ์ด ์๋๋๋ค. ํ์ ๊ทน๋จ์ ํ๋ฅ์ ๊ฑฐ๋ถ์จ ๊ฐ์ ๋ํ์ ํ๋จ์ผ๋ก ์ทจ๊ธํ์ญ์์ค.
๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ํฝ์ ์ ์ ํฉํ ๊ฒฝ์ฐ
๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ํฝ์ ์ด ํด๋ผ์ฐ๋ ์๋น์ค๊ฐ ๊ฑฐ๋ถํ๋ ์ฝํ ์ธ ๊ฐ ์ง์ ์ผ๋ก ํ์ํ๊ณ , ๋ ์๊ฐ ์ฑ์ธ์ด๋ฉฐ, ๋ชฉ์ ์ด ์ฐฝ์์ ํํ์ผ ๋ ์ ํฉํฉ๋๋ค. ๋๋ถ๋ถ์ ํฝ์ ์๊ฐ๋ ์ด๋ฌํ ํน์ ์ฌ์ฉ ์ฌ๋ก ์ค ํ๋ ์ด์์ ์ํด ๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์ ํํฉ๋๋ค.
- ์ ๋น ์ฌ๋ฆฌ์ ๋ ๋ฐฑ: ์ฅ๋ฉด ์ค๊ฐ์ ๊ฒฝ๊ณ ๋ฅผ ์ถ๊ฐํ๊ธฐ ์ํด ์บ๋ฆญํฐ๋ฅผ ๊นจ๋ ๋ชจ๋ธ์ ์ํด ์ค๋จ๋์ง ์๋ ๋๋์ ์ผ๋ก ์ผ๊ด๋ ์ ๋น ์บ๋ฆญํฐ.
- ์ฑ์ธ ๋ก๋งจํฑ ๋ฐ ์ฑ์ ์ฝํ ์ธ : ํด๋ผ์ฐ๋ ์๋น์ค๊ฐ ์ฐจ๋จํ๋ ์ฑ์ ์ฝํ ์ธ ๊ฐ ํ์ํ ๋ก๋งจ์ค, ์๋กํฐ์นด ๋๋ ๋ฌธํ ์์ค์์ ์ฑ์ธ ํ๊ตฌ ์บ๋ฆญํฐ ๊ฐ์ ๋ ธ๊ณจ์ ์ธ ์ฅ๋ฉด.
- ์ฅ๋ฅด ์์ค์ ๊ทธ๋ํฝ ํญ๋ ฅ: ์ ์ ์์ค, ๋ฒ์ฃ ์ค๋ฆด๋ฌ, ๊ณตํฌ โ ํญ๋ ฅ์ด ๊ฐ์ ์ ์ถฉ๊ฒฉ์ ๊ทผ๋ณธ์ ์ด๋ฉฐ ๋ถ๋๋ฝ๊ฒ ๋ง๋ค๋ฉด ์ฅ๋ฉด์ ํ๊ดดํ๋ ์ฅ๋ฉด.
- ํธ๋ผ์ฐ๋ง์ ์ด๋์ด ์ฌ๋ฆฌ: ์์กด์ ๋ด๋ฌํฐ๋ธ, ์ค๋ ์์ค, ํ๋ ์ด์ผ๊ธฐ โ ์ง์ ํ ๋ฌด๊ฒ๋ฅผ ๊ฐ๊ธฐ ์ํด ํํฐ๋ง๋์ง ์์ ๋ฌ์ฌ๊ฐ ํ์ํ ์ฝํ ์ธ .
- ๋๋์ ์ผ๋ก ์ ๋ขฐํ ์ ์๋ ๋ด๋ ์ดํฐ: ํ๋ฆฌ๊ฑฐ๋, ํด๋ฅผ ํฉ๋ฆฌํํ๊ฑฐ๋, ์์ธํ๊ฑฐ๋, ํฝ์ ๋ด์์ ํธํํ ๋ด๋ ์ดํฐ โ ๋ชจ๋ธ์ด ์ผ๋ฐ์ ์ผ๋ก ๊ฑฐ๋ถํ ๊ด์ ์ ํํํด์ผ ํ๋ ์บ๋ฆญํฐ.
- ์ด๋์ด ๋กคํ๋ ์ด์ ํ์ ํฝ์ : ๊ฐ๋ฑ, ๋๋์ ๋ณต์ก์ฑ, ์ฑ์ธ ํ ๋ง๊ฐ ์๋ ์ฅ๊ธฐ ์๋๋ฆฌ์ค๋ก, ํ์ค ๋ชจ๋ธ์ด ํฝ์ ์ ๊นจ๊ณ ๊ฑฐ๋ถ๋ฅผ ์ฝ์ ํ๋ ๊ฒฝ์ฐ.
๐กTip: ๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์ ํํ๊ธฐ ์ ์ ํ์ค ์ธ์คํธ๋ญํธ ๋ชจ๋ธ์์ ํ๋กฌํํธ๋ฅผ ํ ์คํธํ์ญ์์ค. ์ ๊ตฌ์กฐํ๋ ์์คํ ํ๋กฌํํธ์ ์ฅ๋ฉด ์ ์ฝ์ด ์๋ Llama 3.3 70B์ Qwen3 32B๋ ๊ฑฐ๋ถ ์์ด ๋๋ถ๋ถ์ ์ฑ์ธ ๋ฌธํ ์ฝํ ์ธ ๋ฅผ ์์ฑํฉ๋๋ค. ๋ฌด๊ฒ์ด ํ์ธํ๋์ ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ ์ ๋ ๊ทน๋จ์ ์ธ ํญ๋ ฅ ๋ฌ์ฌ์์ ๋ ๋ง์ ๊ฐ์น๋ฅผ ์ถ๊ฐํฉ๋๋ค โ ์ด๋์ด ์ฌ๋ฆฌ, ๋๋์ ๋ณต์ก์ฑ, ์ผ๋ฐ์ ์ผ๋ก ์ด๋์ด ํ ๋ง์์๋ ์๋๋๋ค.
๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ์ ํฉํ์ง ์์ ๊ฒฝ์ฐ
ํด๋ผ์ฐ๋ ์ ์ฉ์ ๋ถ์ฌ๊ฐ ๋ฒ์ , ์ค๋ฆฌ์ ์๋ฌด์ ๋ถ์ฌ๋ฅผ ์๋ฏธํ์ง ์์ต๋๋ค. ์ด๋ฌํ ๋ฒ์ฃผ๋ ๋ชจ๋ธ, ํ๋ซํผ, ๊ธฐ๊ธฐ๊ฐ ๋คํธ์ํฌ์์ ๊ฒฉ๋ฆฌ๋์ด ์๋์ง ์ฌ๋ถ์ ๊ด๊ณ์์ด ์ ์ฉ๋๋ ์ ๋์ ํ๊ณ๋ฅผ ๋ํ๋ ๋๋ค.
- ๋ฏธ์ฑ๋ ์๊ฐ ํฌํจ๋ ์ฑ์ ์ฝํ ์ธ : ํ๊ตฌ์ ํ๋ ์ด๋ฐ์ด๋ ์์ฑ ๋ฐฉ๋ฒ์ ๊ด๊ณ์์ด ๋ชจ๋ ์ฃผ์ ๊ดํ ๊ถ์์ ์ ๋ ๋ฒ์ ๊ธ์ง. ์ด๊ฒ์ ๋ชจ๋ธ ์ ์ฑ ์ด ์๋๋ผ ๋ฒ๋ฅ ์ ๋๋ค.
- ์ค์ ์ธ๋ฌผ์ ๋น๋์์ ์ฑ์ ๋ฌ์ฌ: NCII ๋ฒ๋ฅ ์ ์ฆ๊ฐํ๋ ๊ดํ ๊ถ์์ ์๋ณ ๊ฐ๋ฅํ ์ค์ ์ธ๋ฌผ์ AI ์์ฑ ์ฝํ ์ธ ์ ์ ์ฉ๋ฉ๋๋ค. "AI๊ฐ ์์ฑํ๋ค"๋ ๊ฒ์ ๋ฐฉ์ด๊ฐ ๋์ง ์์ต๋๋ค.
- ์ค์ ํด๋ฅผ ์กฐ์ฅํ๊ธฐ ์ํด ์ค๊ณ๋ ์ฝํ ์ธ : ํ๊ตฌ์ ํ๋ ์ด๋ฐ์ ์ฌ์ฉํ์ฌ ์ค์ ํญ๋ ฅ์ด๋ ํด๋ฅผ ์ง์ ๊ฐ๋ฅํ๊ฒ ํ๋ ์ ๋ณด๋ ์ฝํ ์ธ ๋ฅผ ์ถ์ถํ๋ฉด ํ๊ตฌ์ ๋ณดํธ๊ฐ ์ ๊ฑฐ๋ฉ๋๋ค.
- ์ ์ ์ฑ ์ ์๋ ๊ณต๊ฐ ๋ฐฐํฌ: ๊ฒ์ํ๊ฑฐ๋, ๋ฐฐํฌํ๊ฑฐ๋, ๊ณต์ ํ๋ ์ฝํ ์ธ ๋ ์ ์ ์ฑ ์์ ์ง๋๋ค. "AI๊ฐ ์์ฑํ๋ค"๋ ๊ฒ์ ๊ทธ ์ฑ ์์ ์ด์ ํ์ง ์์ต๋๋ค.
- ๊ดด๋กญํ ํฝ์ : ํน์ ์ค์ ์ธ๋ฌผ์ ํด์น๊ฑฐ๋, ์ํํ๊ฑฐ๋, ๊ดด๋กญํ๋ ค๋ ๋ชฉ์ ์ ํฝ์ ์์ฑ โ ํฝ์ ์ผ๋ก ํ๋ ์ด๋ฐ๋์ด ์๋์ง ์ฌ๋ถ์ ๊ด๊ณ์์ด.
โ ๏ธWarning: ์ค์ ์ ๊ด๊ณ์๋ ์ ๋์ ํ๊ณ. ์ด๋ค ๋ก์ปฌ ์ค์ ๋ ๋ค์์ ๋ํ ๋ฒ์ ๋๋ ์ค๋ฆฌ์ ์ฑ ์์ ์ ๊ฑฐํ์ง ์์ต๋๋ค: (1) ๋ฏธ์ฑ๋ ์๊ฐ ํฌํจ๋ ์ฑ์ ์ฝํ ์ธ โ ์ฌ์ค์ ๋ชจ๋ ๊ดํ ๊ถ์์ ๋ฒ๋ฅ ์ ์ํ ์ ๋ ๊ธ์ง; (2) ์๋ณ ๊ฐ๋ฅํ ์ค์ ์ธ๋ฌผ์ ๋น๋์์ ์ฑ์ ๋ฌ์ฌ โ ์ด๋ ์์ฑ ๋ฐฉ๋ฒ์ ๊ด๊ณ์์ด NCII(๋น๋์์ ์น๋ฐํ ์ด๋ฏธ์ง)๋ฅผ ๊ตฌ์ฑํฉ๋๋ค; (3) ํน์ ๋ชฉํ์ ๋ํ ์ค์ ํญ๋ ฅ์ ์กฐ์ฅํ๊ธฐ ์ํด ์ค๊ณ๋ ์ฝํ ์ธ . ์ด๋ฌํ ํ๊ณ๋ ๋ก์ปฌ, ํด๋ผ์ฐ๋, ๋๋ ๊ฒฉ๋ฆฌ๋ ๊ธฐ๊ธฐ์์ ๋ชจ๋ธ์ด ์คํ๋๋ ๊ฒฝ์ฐ์๋ ์ ์ฉ๋ฉ๋๋ค.
๋ชจ๋ธ ๋น๊ต: ํฝ์ ์ ์ํ ๋ฌด๊ฒ์ด ์ต์
๋ชจ๋ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ๋๋ฑํ์ง ์์ต๋๋ค โ RLHF ์ ๊ฑฐ ์ ๋์ ๊ธฐ๋ณธ ๋ชจ๋ธ ํ์ง์ด ํฝ์ ๊ธ์ฐ๊ธฐ ์ฌ์ฉ ์ฌ๋ก์์ ์ค์ํฉ๋๋ค.
- ์ฐธ๊ณ : ์ด์ ๋ฌด๊ฒ์ด ํ์ธํ๋๋ค โ Midnight Miqu(Miqu-70B ๊ธฐ๋ฐ), Wizard-LM Uncensored, Mythomax โ ์ 2024๋ ์ ๋์์ง๋ง ํ์ง ๋ฐ ์ง์ ๋ฐ๋ฅด๊ธฐ ๋ฉํธ๋ฆญ์์ 2026๋ ์ Hermes 3์ Dolphin 3.0์ ์ํด ์ถ์๋์์ต๋๋ค. ๋ ์ค๋๋ ๊ธฐ์ฌ์์ ์ถ์ฒ๋ ๊ฒ์ ๋ฐ๊ฒฌํ๋ค๋ฉด, ํ์ฌ ๋๋ฑํ์ Hermes 3(์ ํ์ ๋ฌด๊ฒ์ด์ฉ)์ Dolphin 3.0(๋ ๋์ ๋ฒ์์ฉ)์ ๋๋ค.
| ๋ชจ๋ธ | ๊ธฐ๋ฐ | VRAM (Q4) | ๊ฑฐ๋ถ์จ | ์ง์ ํ์ง | ๊ทน๋จ์ ํ๋ฅ | ์ต์ |
|---|---|---|---|---|---|---|
| Hermes 3 Llama 3.3 70B | Llama 3.3 70B | ~42 GB | ์ ํ์ | โ โ โ โ โ | ๋ฎ์ | ์ง์งํ ํฝ์ ์ ์ํ ๊ธฐ๋ณธ ์ต์ โ ์ต๊ณ ์ ์ง์ ๋ฐ๋ฅด๊ธฐ + ๋ฌด๊ฒ์ด ๊ธฐ๋ฅ |
| Dolphin 3.0 Mistral 24B | Mistral 24B | ~16 GB | ๊ด๋ฒ์ | โ โ โ โ โ | ๋ฎ์-๋ณดํต | 16โ24GB ์์คํ ; ๋ ๋์ ๋ฒ์์ ์ฑ์ธ ์ฝํ ์ธ |
| Dolphin 3.0 Mistral Small | Mistral Small | ~8 GB | ๊ด๋ฒ์ | โ โ โ โโ | ๋ณดํต | ๋ฎ์ VRAM ์์คํ ; ๋จํธ ์ด์, ํ๋กฌํํธ ํ ์คํธ |
| Hermes 3 Llama 3.2 8B | Llama 3.2 8B | ~5 GB | ์ ํ์ | โ โ โ โโ | ๋ฎ์ | ์ ํ๋ ์์; ๋ํ์ ๋ ์งง์ ์ฅ๋ฉด |
| Standard Llama 3.3 70B | Llama 3.3 70B | ~42 GB | ์ ํ์ | โ โ โ โ โ | ์์ | ์ด๋์ด ํ ๋ง, ๋๋์ ๋ณต์ก์ฑ, ํญ๋ ฅ โ ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ ์์ด |
๐กTip: ๊ฐ์ฅ ๊ณต๊ฒฉ์ ์ธ ๋ฌด๊ฒ์ด ํ์ธํ๋์ด ์๋ Hermes 3๋ก ์์ํ์ญ์์ค. ์์ ํ ์ ๊ฑฐ๋ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์ ๊ฐ์ฅ ๋์ ์ฝํ ์ธ ๋ฒ์๋ฅผ ๊ฐ์ง์ง๋ง ๋ณต์กํ ํฝ์ ์์ ์์ ์ง์ ๋ฐ๋ฅด๊ธฐ๊ฐ ํ์ ํ ์ฝํฉ๋๋ค โ ์ ์ฝ์์ ๋ ๋น ๋ฅด๊ฒ ์ดํํ๊ณ , ๋ ๊ธด ์์ฑ์์ ๋ ๋ฎ์ ํ์ง์ ์ฐ๋ฌธ์ ์์ฑํ๋ฉฐ, ๋ ์์ ์ ์ผ๋ก ์บ๋ฆญํฐ ๋ชฉ์๋ฆฌ๋ฅผ ์ ์งํฉ๋๋ค. ๋ฌด๊ฒ์ด ์ฝํ ์ธ ์ ํ์ง ์ฐ๋ฌธ ๋ชจ๋ ํ์ํ ํฝ์ ์ ๊ฒฝ์ฐ, Hermes 3๊ฐ ์ต์ ์ ์ ์ถฉ์ ์ ๋๋ค.
์ค์ : Ollama์ LM Studio
Ollama์ LM Studio ๋ชจ๋ ๋ก์ปฌ OpenAI ํธํ API๋ฅผ ํตํด ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ ๊ณตํฉ๋๋ค โ SillyTavern, Agnai ๋ฐ ๋ก์ปฌ ์๋ํฌ์ธํธ์ ํต์ ํ๋ ๋ค๋ฅธ ๋๊ตฌ๋ค์ด ์ถ๊ฐ ์ค์ ์์ด ์๋ํฉ๋๋ค.
Ollama: Hermes 3 ๋ค์ด๋ก๋ ๋ฐ ์คํ
โ# Pull the model ollama pull nous-hermes3:70b-llama3.3-q4_K_M # Run it ollama run nous-hermes3:70b-llama3.3-q4_K_M # Serve via API (for SillyTavern / Agnai / LM Studio-compatible tools) ollama serve # API available at http://localhost:11434โ
Ollama: Dolphin 3.0 Mistral 24B ๋ค์ด๋ก๋ ๋ฐ ์คํ
โ# Pull the model ollama pull dolphin3:24b-mistral-q4_K_M # Verify it loaded ollama list # Run a test prompt ollama run dolphin3:24b-mistral-q4_K_M "Write a 100-word villain monologue, gothic register, no disclaimers."โ
- Ollama ์ค์น:
brew install ollama(macOS) ๋๋ ollama.com์์ ๋ค์ด๋ก๋(Windows/Linux).ollama serve๋ช ๋ น์ดhttp://localhost:11434์์ OpenAI ํธํ API๋ฅผ ์์ํฉ๋๋ค. - LM Studio ์ค์น: lmstudio.ai์์ ๋ค์ด๋ก๋. GGUF ๋ชจ๋ธ ํ์ผ์ ์ง์ ๊ฐ์ ธ์ค๊ธฐ; ๋ก์ปฌ ์๋ฒ ํญ์
http://localhost:1234์์ OpenAI ํธํ ์๋ํฌ์ธํธ๋ฅผ ๋ ธ์ถํฉ๋๋ค. - SillyTavern ์ฐ๊ฒฐ: API ์ค์ ์์ "OpenAI ํธํ"์ ์ ํํ๊ณ ๊ธฐ๋ณธ URL์
http://localhost:11434/v1(Ollama) ๋๋http://localhost:1234/v1(LM Studio)๋ก ๊ฐ๋ฆฌํค์ญ์์ค. API ํค ํ๋์ ์์์ ๋ฌธ์์ด์ ์ ๋ ฅํ์ญ์์ค(ํ๋์์ ํ์ํ์ง๋ง ๋ก์ปฌ์์ ๊ฒ์ฆ๋์ง ์์). - Agnai ์ฐ๊ฒฐ: ๋์ผํ OpenAI ํธํ ์๋ํฌ์ธํธ; ์ด๋ํฐ ์ค์ ์ ๋ก์ปฌ URL ์ ๋ ฅ. SillyTavern ์ค์ ๊ณผ ๋์ผํ๊ฒ ์๋ํฉ๋๋ค.
- ๋ชจ๋ธ ์ ํ: Ollama์์ `ollama run [๋ชจ๋ธ๋ช ]`์ผ๋ก ํ์ค ๋ชจ๋ธ๊ณผ ๋ฌด๊ฒ์ด ๋ชจ๋ธ ์ฌ์ด๋ฅผ ์ ํํฉ๋๋ค โ ์ฌ๋ฌ ๋ชจ๋ธ์ด ๋์์ ๋ก๋๋ ์ ์์ผ๋ฉฐ ์๋ฒ๋ฅผ ์ฌ์์ํ์ง ์๊ณ ์ธ์ ๋ณ๋ก ์ ํํ ์ ์์ต๋๋ค.
๐กTip: ๋ฌด๊ฒ์ด ๋ชจ๋ธ๊ณผ ํ์ค ๋ชจ๋ธ์ ๋ถ๋ฆฌํ์ฌ ์ ์งํ๊ณ ์ถ์ ์๊ฐ์ ๊ฒฝ์ฐ, OLLAMA_HOST ํ๊ฒฝ ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ ๋ค๋ฅธ ํฌํธ์์ ๋ ๊ฐ์ Ollama ์ธ์คํด์ค๋ฅผ ์์ฑํ์ญ์์ค. ์: OLLAMA_HOST=127.0.0.1:11435 ollama serve. ์ด๋ ๊ฒ ํ๋ฉด ๋ค๋ฅธ ์์ ์ ์ํ ํ์ค Ollama ์ธ์คํด์ค๋ฅผ ์ ์งํ๋ฉด์ SillyTavern ๋๋ Agnai๋ฅผ ๋ฌด๊ฒ์ด ์ธ์คํด์ค๋ก ๊ฐ๋ฆฌํฌ ์ ์์ต๋๋ค.
๋จ์์๋ ์ค๋ฆฌ์ ์ฑ ์
ํด๋ผ์ฐ๋ ์ ์ฑ ์ ์ฉ ์์ด ๋ก์ปฌ๋ก ๋ชจ๋ธ์ ์คํํ๋ ๊ฒ์ ์๊ฐ์ด์ ํธ์ง์๋ก์์ ์ฑ ์์ ์ ๊ฑฐํ์ง ์์ต๋๋ค. ์ธ๊ฐ ์ ์ ํฝ์ ์ ์ ์ฉ๋๋ ์ค๋ฆฌ์ ํ๋ ์์ํฌ๋ AI ๋ณด์กฐ ํฝ์ ์๋ ๋๋ฑํ๊ฒ ์ ์ฉ๋ฉ๋๋ค.
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ ์ค์ ์ ํด๋ผ์ฐ๋ ์๋น์ค ์ฝ๊ด ์ ํ์ ์ ๊ฑฐํ์ง๋ง, ๋ฒ์ ์ ์ ์ฑ ์, ํด ์กฐ์ฅ ์ฑ ์, ๊ณต๊ฐ์ ์ผ๋ก ๋ฐฐํฌ๋ ์ฐฝ์์ ์ํ์ ์ ์ฉ๋๋ ์ค๋ฆฌ์ ์๋ฌด๋ฅผ ์ ๊ฑฐํ์ง ์์ต๋๋ค.
๐ฌ ์ฝ๊ฒ ๋งํ๋ฉด
๋ฌด๊ฒ์ด ๋ก์ปฌ ๋ชจ๋ธ์ ๋น์ ์ด ์ฃผ๋ ๋ชจ๋ ์ง์๋ฅผ ๋ฐ๋ฅด๋ ๋งค์ฐ ์ ๋ฅํ ๊ธ์ฐ๊ธฐ ์กฐ์๋ก ์๊ฐํ์ญ์์ค. ์์ฑํ๊ณ ๋ฐฐํฌํ๋ ๊ฒ์ ๋ฒ์ , ์ค๋ฆฌ์ ๋ฌด๊ฒ๋ ๋๊ตฌ๊ฐ ์๋ ๋น์ ์๊ฒ ์์ต๋๋ค. ์ธ๊ฐ ์ ์ ํฝ์ ์ ์ ์ฉ๋๋ ๊ฒ๊ณผ ๋์ผํ ๋ฒ๋ฅ โ ๋ฏธ์ฑ๋ ์, ์ค์ ์ธ๋ฌผ, ์๋๋ฌผ, ์ ๋์ ๊ดํ โ ์ด ๊ณต๊ฐ์ ์ผ๋ก ๋ฐฐํฌ๋ AI ์์ฑ ํฝ์ ์ ์ ์ฉ๋ฉ๋๋ค. ์ด๋ค ํ๋ซํผ๋ ๋ก์ปฌ์์ ์ฝํ ์ธ ์์ฑ์ ๋ง์ง ์๋๋ค๋ ์ฌ์ค์ด ๊ฒ์ํ ๊ฒฝ์ฐ ๋ฒ์ ์ผ๋ก ์ฑ ์์ง๋ ๊ฒ์ ๋ํด ๋ณํ์ง ์์ต๋๋ค.
- ์ ์ ์ฑ ์: AI ๋ณด์กฐ ํฝ์ ์ ์ ์๋ ๋น์ ์ ๋๋ค. "AI๊ฐ ์์ฑํ๋ค"๋ ๊ฒ์ ์ ์๊ถ์ ์ด์ ํ์ง ์๊ณ , ์ฑ ์์ ์ ๊ฑฐํ์ง ์์ผ๋ฉฐ, ๋ฒ๋ฅ ์ ์๋ฐํ๋ ์ฝํ ์ธ ์ ๋ํ ๋ฐฉ์ด๊ฐ ๋์ง ์์ต๋๋ค.
- ๊ดํ ๊ถ ์ธ์: ์๋๋ฌผ, NCII, ์ ํด ์ฝํ ์ธ ์ ๊ดํ ๋ฒ๋ฅ ์ ๊ดํ ๊ถ๋ง๋ค ๋ค๋ฆ ๋๋ค. ํ ๋๋ผ์์ ์์ฑ์ด ํฉ๋ฒ์ ์ธ ์ฝํ ์ธ ๊ฐ ๋ค๋ฅธ ๋๋ผ์์ ํ์ฌ ๋ฒ์ฃ๋ฅผ ๋ฐฐํฌํ๋ ๊ฒ์ผ ์ ์์ต๋๋ค.
- ์ค์ ์ธ๋ฌผ: ๋ช ํํ๊ฒ ํ๊ตฌ์ ์ธ ํ๋ ์์์๋ ์๋ณ ๊ฐ๋ฅํ ์ค์ ์ธ๋ฌผ์ ๋ํ ๋ถ์ ์ ์ธ ํ๊ตฌ ์ฝํ ์ธ ๋ฅผ ์์ฑํ๋ฉด ์ฝํ ์ธ ์ ๋ฐ๋ผ ๋ช ์ํผ์๊ณผ NCII์ ์ํ์ด ์์ต๋๋ค.
- ๋ฐฐํฌ๋ฅผ ์ํ ์ฐ๋ น ํ์ธ: ๊ณต๊ฐ ํ๋ซํผ์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์์ฑ๋ ์ฑ์ธ ๋๋ ์ฑ์ํ ์ฝํ ์ธ ๋ฅผ ๋ฐฐํฌํ๋ ๊ฒฝ์ฐ, ์ฑ์ธ ์ฝํ ์ธ ํผ๋ธ๋ฆฌ์ ๋ก์ ์ ์ฉ๋๋ ์ฐ๋ น ํ์ธ ์๋ฌด๊ฐ ์ ์ฉ๋ฉ๋๋ค.
- ์ฑ ์ ์๋ ๋ณด๊ด: ๋ก์ปฌ์์ ์์ฑ๋ ๋ฌด๊ฒ์ด ์ฝํ ์ธ ๋ ๋ค๋ฅธ ๋ฏผ๊ฐํ ์๋ฃ์ ๋์ผํ ์ ์ฅ ๊ท์จ๋ก ์ฒ๋ฆฌ๋์ด์ผ ํฉ๋๋ค โ ํด๋ผ์ฐ๋ ๋๊ธฐํ ๋๋ ํ ๋ฆฌ์ ์ ์ฅํ์ง ๋ง๊ณ , ๋น์๋์ ์ผ๋ก ๊ณต์ ํ์ง ๋ง์ญ์์ค.
โ ๏ธWarning: ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ๋ ์๊ฐ๋ค ์ฌ์ด์์ ๊ฐ์ฅ ํํ ์ค๋ฆฌ์ ์ค์๋ ๋ก์ปฌ ์์ฑ์ ๋งฅ๋ฝ์ด ์๋ ๊ตฌ์ญ์ผ๋ก ์ทจ๊ธํ๋ ๊ฒ์ ๋๋ค. ๋ก์ปฌ ์์ฑ์ ํ๋ซํผ ์ ์ฑ ์ ์ฉ์ด ์์์ ์๋ฏธํฉ๋๋ค โ ๋ฒ, ์ฑ ์, ํด๊ฐ ์์์ ์๋ฏธํ์ง ์์ต๋๋ค. ์ฝํ ์ธ ์กฐ์ ์์ ๋ถ์ฌ๋ ํ๊ฐ๊ฐ ์๋๋๋ค.
ํฝ์ ์๊ฐ๋ฅผ ์ํ ์ค์ฉ์ ์ธ ์ํฌํ๋ก์ฐ
๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ๋ ๋๋ถ๋ถ์ ํฝ์ ์๊ฐ๋ ๊ธฐ๋ณธ ๋ชจ๋ธ์ ๊ธฐ๋ณธ ๋์ฒดํ์ผ๋ก๊ฐ ์๋ ํน์ ์ฅ๋ฉด์ ์ํด ์ฌ์ฉํฉ๋๋ค. ์๋ ์ํฌํ๋ก์ฐ๋ ์ด๋ฌํ ํน์ ์ฌ์ฉ์ ์ง์ํฉ๋๋ค.
- ํ์ค ์ฅ๋ฉด์ ํ์ค ๋ชจ๋ธ๋ก ์ด์ ์์ฑ. Llama 3.3 70B ๋๋ Qwen3 32B๋ ์ด๋์ด ํ ๋ง, ๋๋์ ๋ณต์ก์ฑ, ์ฌ๋ฆฌ์ ๊น์ด๋ฅผ ํฌํจํ ๋๋ถ๋ถ์ ๋ฌธํ์ ์ฐ๋ฌธ์ ์ฒ๋ฆฌํฉ๋๋ค. ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ํ์ค ๋ชจ๋ธ์ด ๊ฑฐ๋ถํ๋ ์ฝํ ์ธ ๊ฐ ๊ตฌ์ฒด์ ์ผ๋ก ํ์ํ ์ฅ๋ฉด์ ์ํด ์์ฝํ์ญ์์ค.
- ํน์ ์ฅ๋ฉด์ ์ํด ๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์ ํ. Ollama์์ ํน์ ์ฅ๋ฉด์ ์ํด
ollama run nous-hermes3:70b-llama3.3-q4_K_M์ ์คํํ์ญ์์ค. SillyTavern์์ ์ธ์ ๋ณ API ์ค์ ์์ ๋ชจ๋ธ์ ์ ํํ์ญ์์ค. ์ธ์ ๊ฐ์ ๊ต์ฐจ๋๋ ๋ฐ์ดํฐ๊ฐ ์์ต๋๋ค. - ๋์ผํ ํ๋กฌํํธ ํ ํ๋ฆฟ ์ฌ์ฉ. ํฝ์ ์๊ฐ๋ฅผ ์ํ ๋ก์ปฌ LLM ํ๋กฌํํธ์ 5๋ถ ์ฅ๋ฉด ํ ํ๋ฆฟ, ์๋ธํ ์คํธ ๋ํ ๊ตฌ์กฐ, ์บ๋ฆญํฐ ๋ชจ์ ํ๋กฌํํธ๋ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์์ ๋์ผํ๊ฒ ์๋ํฉ๋๋ค. ๋ค๋ฅธ ํ๋กฌํํธ ๊ตฌ์กฐ๊ฐ ํ์ํ์ง ์์ต๋๋ค.
- ๋ฒ์ ์ด์ ๋ก ์ธ๊ฐ ์ ์ ๋ธ๋ฆฌํ์ ๋ํ๋์ง ์์ ์ฝํ ์ธ ์์ฑ ์ง์๋ฅผ ์ถ๊ฐํ์ง ๋ง์ญ์์ค. ๋ชจ๋ธ์ ๋๊ตฌ์ด์ง ๊ถํ ๊ตฌ์กฐ๊ฐ ์๋๋๋ค. ๋ฒ์ ์ด์ ๋ก ์ธ๊ฐ ์ฝํ๊ฐ๋ ๋ํ ์๊ฐ์๊ฒ ๋ธ๋ฆฌํ์ ํฌํจํ์ง ์์ ์ง์๋ ๋ชจ๋ธ ํ๋กฌํํธ์ ํฌํจํ์ง ๋ง์ญ์์ค.
- ๋ฐฐํฌ ์ ์ถ๋ ฅ๋ฌผ ๊ฒํ . ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ๊ฐ๋ ์์ฒญ๋ ์ด๋์์ ์ด๊ณผํ๊ฑฐ๋ ๊ณ ์ ๊ด๋ ์ผ๋ก ์ดํํ๋ ์ฝํ ์ธ ๋ฅผ ์์ฑํฉ๋๋ค. AI ๋ณด์กฐ ์ฝํ ์ธ ์ ํ์ค ํธ์ง ๊ฒํ ๊ฐ ์ ์ฉ๋ฉ๋๋ค.
๐กTip: ๊ธ์ฐ๊ธฐ ํ๋ก์ ํธ๋ณ "๋ชจ๋ธ ๋ก๊ทธ"๋ฅผ ์ ์งํ์ญ์์ค โ ์ด๋ค ๋ชจ๋ธ์ด ์ด๋ค ์ฅ๋ฉด์ ์์ฑํ๋์ง ๊ธฐ๋กํ๋ ํ๋ฌธ ํ ์คํธ ํ์ผ. ์ด๊ฒ์ ๊ฒํ ์ ์ ์ฉํฉ๋๋ค(์ด๋ค ๋ชจ๋ธ์ด ์ฅ๋ฉด์ ์์ฑํ๋์ง ์๋ฉด ์์ ์์ฒญ์ ์ด๋๋ก ๋ณด๋ผ์ง ์ ์ ์์), AI ์ง์์ ๊ณต๊ฐํ๋ ๊ฒฝ์ฐ ๊ท์ ํฌ๋ช ์ฑ์ ์ํด, ๊ทธ๋ฆฌ๊ณ ๋์ค์ ์ฅ๋ฉด์ด ์ง๋ฌธ์ ์ ๊ธฐํ๋ ๊ฒฝ์ฐ ๊ฐ์ฌ๋ฅผ ์ํด ์ ์ฉํฉ๋๋ค.
ํํ ์ค์
- ๊ฐ์ฅ ๊ณต๊ฒฉ์ ์ธ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ๊ธฐ๋ณธ์ผ๋ก ์ฌ์ฉํ๋ ๊ฒ. ์์ ํ ์ ๊ฑฐ๋ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์ ๋ณต์กํ ์ฅ๋ฉด์์ ๊ฐ์ฅ ์ฝํ ์ง์ ๋ฐ๋ฅด๊ธฐ๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค. Hermes 3๊ฐ ํฝ์ ํ์ง์ ์ํ ๋ ๋์ ์ ์ถฉ์ ์ ๋๋ค.
- ํ์ค ๋ชจ๋ธ์ด ์์ฑํ ์ฝํ ์ธ ์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ ์ฌ์ฉํ๊ธฐ. ๋๋์ ๋ณต์ก์ฑ, ์ด๋์ด ์ฌ๋ฆฌ, ํญ๋ ฅ, ๋ฌธํ์ ์ฐ๋ฌธ์ ์ฑ์ธ ํ ๋ง๋ ๋ฌด๊ฒ์ด ํ์ธํ๋์ ๊ฑฐ์ ํ์๋ก ํ์ง ์์ต๋๋ค. ์ ํํ๊ธฐ ์ ์ ์ ํํ ๋ฌด์์ด ํ์ํ์ง ํ์ ํ์ญ์์ค.
- ๋ก์ปฌ ์์ฑ์ ๋ฒ์ ์ผ๋ก ๋งฅ๋ฝ์ด ์๋ ๊ตฌ์ญ์ผ๋ก ์ทจ๊ธํ๊ธฐ. ํด๋ผ์ฐ๋ ์ ์ฑ ์ ์ฉ์ ๋ถ์ฌ๋ ๋ฒ์ ๋ถ์ฌ๋ฅผ ์๋ฏธํ์ง ์์ต๋๋ค. ๋ฐฐํฌ, ์ค์ ์ธ๋ฌผ, ๋ฏธ์ฑ๋ ์์ ๋ํ ์ ์ ์ฑ ์์ ๊ด๊ณ์์ด ์ ์ฉ๋ฉ๋๋ค.
- ๋จ์ด ์ ํ์ ์ง์ ํ์ง ์๊ธฐ. ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ด๋์ด ์ฝํ ์ธ ๋ฅผ ๋ค๋ฅธ ๋ชจ๋ธ๊ณผ ๋ง์ฐฌ๊ฐ์ง๋ก ๊ณต๊ฐ์ ์ฑ์ฐ๊ธฐ ์ํด ์์ฑํฉ๋๋ค. ํฝ์ ํ ํ๋ฆฟ๊ณผ ๋์ผํ ๋จ์ด ์ ํ ์ ์ฝ์ ์ฌ์ฉํ์ญ์์ค.
- ํด๋ผ์ฐ๋ ๋๊ธฐํ ๋๋ ํ ๋ฆฌ์ ์ถ๋ ฅ๋ฌผ ์ ์ฅํ๊ธฐ. ๋ก์ปฌ์์ ์์ฑ๋ ์ฑ์ธ ์ฝํ ์ธ ๊ฐ iCloud, Google Drive ๋๋ OneDrive์ ๋๊ธฐํ๋๋ฉด ํด๋น ํ๋ซํผ์ ์๋น์ค ์ฝ๊ด์ ์๋ฐํ ์ ์์ต๋๋ค. ๋ก์ปฌ์๋ง ์ ์ฅํ์ญ์์ค.
์ถ์ฒ
- Hermes 3 ๋ชจ๋ธ ์นด๋ ๋ฐ ํ์ธํ๋ ๋ฐฉ๋ฒ๋ก โ Nous Research
- Dolphin 3.0 Mistral ๊ธฐ์ ๋ฌธ์ โ Cognitive Computations / Eric Hartford
- RLHF ๊ธฐ๋ฒ ๋ฐ ์ ๋ ฌ ๊ฐ์ โ Anthropic Research
- EU AI Act ์ 5์กฐ โ ๋ฏธ์ฑ๋ ์ ํฌํจ ์ฝํ ์ธ ๋ฅผ ํฌํจํ ๊ธ์ง๋ AI ๊ดํ โ EUR-Lex
- NCII(๋น๋์์ ์น๋ฐํ ์ด๋ฏธ์ง) โ ๋ฒ์ ํ๋ ์์ํฌ ๊ฐ์ โ Cyber Civil Rights Initiative
FAQ
๋ฌด๊ฒ์ด ๋ก์ปฌ LLM ์คํ์ด ํฉ๋ฒ์ ์ ๋๊น?
๋ฌด๊ฒ์ด ๋ก์ปฌ LLM ์คํ์ ๋๋ถ๋ถ์ ๊ดํ ๊ถ์์ ํฉ๋ฒ์ ์ ๋๋ค โ ์คํ ์์ค AI ์ํํธ์จ์ด ์์ ๋ฅผ ๊ธ์งํ๋ ๋ฒ๋ฅ ์ ์์ต๋๋ค. ์์ฑํ๊ณ ๋ฐฐํฌํ๋ ๊ฒ์ ๋ค๋ฅธ ์์ฒด ์ ์ ์ฝํ ์ธ ์ ๋์ผํ ๋ฒ๋ฅ ์ ์ ์ฉ์ ๋ฐ์ต๋๋ค: ์๋๋ฌผ ๋ฒ, NCII ๋ฒ, ๋ช ์ํผ์ ๋ฒ, ๋ฏธ์ฑ๋ ์ ํฌํจ ์ฝํ ์ธ ์ ๊ดํ ๋ฒ๋ฅ . ์คํ์ด ํฉ๋ฒ์ ์ด๋ผ๋ ๊ฒ์ด ์ ํ ์์ด ๊ฒ์ํ๊ฑฐ๋ ๊ณต์ ํ๊ฑฐ๋ ๋ฐฐํฌํ๋ ๊ฒ์ด ํฉ๋ฒ์ ์์ ์๋ฏธํ์ง ์์ต๋๋ค.
Hermes 3์ Dolphin 3.0์ ์ฐจ์ด๋ ๋ฌด์์ ๋๊น?
Hermes 3(Nous Research)๋ ์ ํ์ ์ผ๋ก ๋ฌด๊ฒ์ด๋ฉ๋๋ค โ ์ฑ์ธ ์ฝํ ์ธ ์ ๋ํ ๊ฑฐ๋ถ๋ฅผ ์ค์ด๋ฉด์ ๊ทน๋จ์ ๋ฒ์ฃผ์ ๋ํ ์ผ๋ถ ์ฅ๋ฒฝ์ ์ ์งํฉ๋๋ค. ์ง์ ๋ฐ๋ฅด๊ธฐ๋ ๊ธฐ๋ณธ ๋ชจ๋ธ Llama 3.3 70B์ ๊ฐ๊น์ด ์์ค์ผ๋ก ์ฐ์ํฉ๋๋ค. Dolphin 3.0(Cognitive Computations)์ ๋ ๋์ ์ฝํ ์ธ ๋ฒ์์์ ๋ ๊ด๋ฒ์ํ๊ฒ ๋ฌด๊ฒ์ด๋์ง๋ง, ์ฌ๋ฌ ์ ์ฝ์ด ์๋ ๋ณต์กํ ์ฅ๋ฉด์์ ์ง์ ๋ฐ๋ฅด๊ธฐ๊ฐ ์ฝ๊ฐ ๋ ์ฝํฉ๋๋ค. Hermes 3๋ ์ฐ๋ฌธ ํ์ง์ด ์ค์ํ ํฝ์ ์ ๊ฒฝ์ฐ ์ต์ ์ ๊ธฐ๋ณธ ์ ํ์ด๊ณ ; Dolphin 3.0์ 16โ24GB ์์คํ ์์ ๊ฐ์ฅ ๋์ ์ฝํ ์ธ ๋ฒ์๊ฐ ํ์ํ ๋ ์ต์ ์ ์ ํ์ ๋๋ค.
์ด๋์ด ํฝ์ ์ ์ฐ๊ธฐ ์ํด ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ํ์ํฉ๋๊น?
๋๋ถ๋ถ์ ์ด๋์ด ํฝ์ ์๋ ํ์ํ์ง ์์ต๋๋ค. Llama 3.3 70B์ Qwen3 32B ๊ฐ์ ํ์ค ์ธ์คํธ๋ญํธ ๋ชจ๋ธ์ ์ฌ๋ฐ๋ฅด๊ฒ ํ๋กฌํํธ๋๋ฉด ํญ๋ ฅ, ๋๋์ ๋ณต์ก์ฑ, ์ด๋์ด ์ฌ๋ฆฌ, ์ ๋น์ ๋ด๋ฉด, ํธ๋ผ์ฐ๋ง, ๋๋ถ๋ถ์ ๋ฌธํ์ ์ด๋์์ ๊ฑฐ๋ถ ์์ด ์์ฑํฉ๋๋ค. ์์ ์ ์ผ๋ก ๊ฑฐ๋ถํ๋ ๊ฒ์ ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ ์ ๋ ์์ ๊ทน๋จ์ ์๋๋ฆฌ์ค ์งํฉ์ ๋๋ค. ์ด๋์ด ํฝ์ ์ ๋ ธ๊ณจ์ ์ธ ์ฑ์ ์ฝํ ์ธ ๊ฐ ํฌํจ๋์ง ์๋๋ค๋ฉด, ๋จผ์ ํ์ค ๋ชจ๋ธ์ ํ ์คํธํ์ญ์์ค โ ๋ฌด๊ฒ์ด ๋ฒ์ ์ด ํ์ํ์ง ์์ ์ ์์ต๋๋ค.
SillyTavern ๋๋ Agnai์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ ์ ์์ต๋๊น?
๋ค. SillyTavern๊ณผ Agnai ๋ชจ๋ OpenAI ํธํ ์๋ํฌ์ธํธ์ ์ฐ๊ฒฐ๋ฉ๋๋ค โ ํฌํธ 11434์์ ๋ก์ปฌ๋ก ์คํ ์ค์ธ Ollama ํฌํจ. Ollama์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ๋ค์ด๋ก๋ํ๊ณ , ollama serve๋ฅผ ์์ํ๊ณ , SillyTavern์ด๋ Agnai์์ OpenAI ํธํ API๋ฅผ ์ ํํ๊ณ http://localhost:11434/v1๋ก ๊ฐ๋ฆฌํค์ญ์์ค. ๋ชจ๋ธ ๋ชฉ๋ก์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ ํํ์ญ์์ค. ์ถ๊ฐ ์ค์ ์ด ํ์ํ์ง ์์ต๋๋ค.
๋ฌด๊ฒ์ด ๋ชจ๋ธ์ด ํ ๋คํธ์ํฌ์์ ์์ ํฉ๋๊น?
Ollama์ LM Studio์ ๊ธฐ๋ณธ ์ค์ ์ธ localhost์ ๋ฐ์ธ๋ฉ๋ ๋ ๊ทธ๋ ์ต๋๋ค. API๋ ๊ธฐ๊ธฐ์์๋ง ์ ๊ทผํ ์ ์์ต๋๋ค. ํ ๋คํธ์ํฌ์์ ํฌํธ๋ฅผ ๋ ธ์ถํ๋ ๊ฒฝ์ฐ(์: ์ ํ์์ ์ ๊ทผํ๊ธฐ ์ํด), ๋ฐฉํ๋ฒฝ ๊ท์น์ด ์ ๋ขฐํ ์ ์๋ ๊ธฐ๊ธฐ๋ก ์ ๊ทผ์ ์ ํํ๋์ง ํ์ธํ์ญ์์ค. ์ธ์ฆ ์์ด ๊ณต๊ฐ ์ธํฐ๋ท์ Ollama API๋ฅผ ๋ ธ์ถํ์ง ๋ง์ญ์์ค โ ๊ธฐ๋ณธ ์ค์ ์๋ ์ธ์ฆ์ด ์์ต๋๋ค.
๋ก์ปฌ์์ ์์ฑํ ์ฝํ ์ธ ๋ ์ด๋ป๊ฒ ๋ฉ๋๊น?
์๋์ผ๋ก๋ ์๋ฌด๊ฒ๋ ์ผ์ด๋์ง ์์ต๋๋ค. ๋ก์ปฌ์์ ์์ฑ๋ ์ฝํ ์ธ ๋ ์๋ฒ๋ก ์ ์ก๋์ง ์๊ณ , ํด๋ผ์ฐ๋ ์๋น์ค์ ์ํด ๊ธฐ๋ก๋์ง ์์ผ๋ฉฐ, ๋ชจ๋ธ ํ๋ จ์ ์ฌ์ฉ๋์ง ์์ต๋๋ค. ๊ธฐ๊ธฐ์์๋ง ์กด์ฌํ๋ฉฐ, ์ฑ์ ๋ก์ปฌ ์ ์ฅ์(์ฑํ ๊ธฐ๋ก ํ์ผ, ์บ๋ฆญํฐ ์นด๋ ๋ฑ)์ ์ ์ฅ๋ฉ๋๋ค. ์ ์ฅ, ์ญ์ , ๊ณต์ ๋ฅผ ์ ์ดํฉ๋๋ค. ์ด๊ฒ์ด ํด๋ผ์ฐ๋ ๋์์ ๋นํด ๋ก์ปฌ ๋ฌด๊ฒ์ด ์์ฑ์ ์ฃผ์ ๊ตฌ์กฐ์ ํ๋ผ์ด๋ฒ์ ์ด์ ์ ๋๋ค.
๊ฐ์ ๊ธ์ฐ๊ธฐ ํ๋ก์ ํธ์์ ๋ฌด๊ฒ์ด ๋ชจ๋ธ๊ณผ ํ์ค ๋ชจ๋ธ์ ํผํฉํ ์ ์์ต๋๊น?
๋ค, ์ด๊ฒ์ด ๊ถ์ฅ ์ํฌํ๋ก์ฐ์ ๋๋ค. ๋๋ถ๋ถ์ ์ฐ๋ฌธ์๋ ํ์ค ๋ชจ๋ธ(Llama 3.3 70B, Qwen3 32B)์ ์ฌ์ฉํ์ญ์์ค โ ํ์ค ๋ชจ๋ธ์ ๋๋ถ๋ถ์ ์ด๋์ด ์ฝํ ์ธ ์ ๋ํด ๊ณ ํ์ง ๋ฌธํ์ ์ฐ๋ฌธ์ ์์ฑํฉ๋๋ค. ํ์ค ๋ชจ๋ธ์ด ๊ฑฐ๋ถํ๋ ์ฝํ ์ธ ๊ฐ ํ์ํ ํน์ ์ฅ๋ฉด์ ์ํด Hermes 3๋ Dolphin 3.0์ผ๋ก ์ ํํ์ญ์์ค. ๋์ผํ ํ๋กฌํํธ ํ ํ๋ฆฟ์ด ๋ ๋ชจ๋ธ ๋ชจ๋์์ ์๋ํฉ๋๋ค; ์ฐ๋ฌธ ์คํ์ผ์ ์ฅ๋ฉด๋ณ ํผํฉ์ด ์ถ๋ ฅ์์ ๊ฐ์ง๋์ง ์์ ๋งํผ ์ถฉ๋ถํ ์ผ๊ด๋ฉ๋๋ค.
๋ฌด๊ฒ์ด ๋ชจ๋ธ๋ก ์ฝํ ์ธ ์์ฑ์ด ์ ์๊ถ์ ์ํฅ์ ๋ฏธ์นฉ๋๊น?
์๋์ โ AI ์์ฑ ์ฝํ ์ธ ์ ์ ์๊ถ ์ํฉ์ ๋ชจ๋ธ์ด ๊ฒ์ด๋์๋์ง ๋ฌด๊ฒ์ด์ธ์ง์ ๊ด๊ณ์์ด ๋์ผํฉ๋๋ค. AI ์ถ๋ ฅ์ ๋ํ ์ ์๊ถ๋ฒ์ 2026๋ ๊ธฐ์ค์ผ๋ก ๋๋ถ๋ถ์ ๊ดํ ๊ถ์์ ๋ถํ์คํฉ๋๋ค; ์ผ๋ฐ์ ์ธ ์ ์ฅ์ ์ธ๊ฐ ์ ์ ์์(ํ๋กฌํํธ ์ค๊ณ, ์ ํ, ๋ฐฐ์น, ์ค์ง์ ํธ์ง)๊ฐ ๋ณดํธ๋ ์ ์๋ ๋ฐ๋ฉด, ์์ AI ์ถ๋ ฅ์ ๊ทธ๋ ์ง ์๋ค๋ ๊ฒ์ ๋๋ค. ๋ฌด๊ฒ์ด ๋ชจ๋ธ์ ์ฌ์ฉํด๋ ์ด ๋ถ์์ด ๋ฐ๋์ง ์์ต๋๋ค.
๋ฌด๊ฒ์ด ํ์ธํ๋์ด ์ผ๋ฐ ์ง์์ ์์ต๋๊น?
ํน์ ์์ญ์์๋ ๋ฏธ๋ฏธํ๊ฒ. ๋ฌด๊ฒ์ดํ ํ์ธํ๋์ ์ผ๋ฐ์ ์ผ๋ก ์ฌ์ค ๊ฒ์, ์ํ, ์ฝ๋ฉ ๋ฒค์น๋งํฌ์์ ๊ธฐ๋ณธ ๋ชจ๋ธ์์ ์ฝ๊ฐ ์ดํํ ์ ์๋ ์ ์ฒด ์ ๋ฐ๋ ์ฌํ๋ จ ๋จ๊ณ์ ๋๋ค โ ์ผ๋ฐ์ ์ผ๋ก ํ์ค ๋ฒค์น๋งํฌ์์ 1โ3 ํผ์ผํธ ํฌ์ธํธ. ํฝ์ ๊ธ์ฐ๊ธฐ ์์ ์ ๊ฒฝ์ฐ ์ถ๋ ฅ ํ์ง์์ ๊ฐ์งํ ์ ์์ต๋๋ค. ํฝ์ ๊ณผ ๊ธฐ์ ์์ (์ฐ๊ตฌ ๋ ธํธ, ์ฝ๋ ๊ฒํ ) ๋ชจ๋์ ๊ฐ์ ๋ชจ๋ธ์ด ํ์ํ ๊ฒฝ์ฐ, ํ์ค ๋ฒ์ ๊ณผ ๋ฌด๊ฒ์ด ๋ฒ์ ์ ๋ชจ๋ ์ค์นํ๊ณ ์์ ์ ๋ฐ๋ผ ์ ํํ์ญ์์ค. Hermes 3๋ ์์ ํ ์ ๊ฑฐ๋ ๋ชจ๋ธ๋ณด๋ค ์ผ๋ฐ์ ์ธ ๋ฅ๋ ฅ์ ๋ ์ ์ ์งํฉ๋๋ค.
์ด ๋ชจ๋ธ๋ค์ ๋ชจ๋ํฐ๋ง๋๊ฑฐ๋ ์ต๋ช ์ ๋๊น?
Ollama๋ LM Studio๋ฅผ ํตํด ๋ก์ปฌ์์ ์คํ๋๋ ์คํ ์จ์ดํธ ๋ชจ๋ธ์๋ ํ ๋ ๋ฉํธ๋ฆฌ๊ฐ ์๊ณ , ์๊ฒฉ ๋ก๊ทธ๊ฐ ์์ผ๋ฉฐ, ์ฌ์ฉ๋ ์ถ์ ์ด ์์ต๋๋ค. ๋ชจ๋ธ ์ ์(Hermes 3์ฉ Nous Research, Dolphin์ฉ Cognitive Computations)๋ ์์ฑํ๋ ๊ฒ์ ๋ณผ ์ ์์ต๋๋ค โ ์ถ๋ก ์ค ์๋ฒ๋ก์ ์ฝ๋ฐฑ์ด ์์ต๋๋ค. ์ ์ผํ ํ ๋ ๋ฉํธ๋ฆฌ ์ํ์ ํ๋ก ํธ์๋(SillyTavern, Agnai โ ๋ ๋ค ๊ธฐ๋ณธ์ ์ผ๋ก ํ ๋ ๋ฉํธ๋ฆฌ ์์)๋ ์ด์ ์ฒด์ ์์ ์ต๋๋ค. ์ค์น ํ ํ ๋ฒ ๋คํธ์ํฌ ๋ชจ๋ํฐ(macOS์์ Little Snitch, Linux์์ Wireshark)๋ฅผ ์คํํ์ฌ ํ์ธํ์ญ์์ค.