Skip to main content
PromptQuorumPromptQuorum
ํ™ˆ/๊ณ ๊ธ‰ ๋กœ์ปฌ LLM/์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM: ์ž‘๊ฐ€๊ฐ€ ํ•„์š”๋กœ ํ•  ๋•Œ (2026)
Creative & Roleplay

์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM: ์ž‘๊ฐ€๊ฐ€ ํ•„์š”๋กœ ํ•  ๋•Œ (2026)

ยท13๋ถ„ ๋ถ„๋Ÿ‰ยทHans Kuepper ์ € ยท PromptQuorum ์ฐฝ๋ฆฝ์ž, ๋ฉ€ํ‹ฐ ๋ชจ๋ธ AI ๋””์ŠคํŒจ์น˜ ๋„๊ตฌ ยท PromptQuorum

๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM์€ ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค๊ฐ€ ์ƒ์„ฑ์„ ๊ฑฐ๋ถ€ํ•˜๋Š” ๋„๋•์ ์œผ๋กœ ๋ณต์žกํ•œ ์บ๋ฆญํ„ฐ, ์–ด๋‘์šด ํ…Œ๋งˆ, ํญ๋ ฅ, ์„ฑ์ธ ๋กœ๋งจํ‹ฑ ์ฝ˜ํ…์ธ , ์‹ ๋ขฐํ•  ์ˆ˜ ์—†๋Š” ๋‚ด๋ ˆ์ดํ„ฐ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ์ƒ์„ฑํ•ด์•ผ ํ•˜๋Š” ํ”ฝ์…˜ ์ž‘๊ฐ€์—๊ฒŒ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ๋ฌผ์ด ์„ฑ์ธ ๋…์ž๋ฅผ ์œ„ํ•œ ์ฐฝ์˜์  ํ”ฝ์…˜์— ์‚ฌ์šฉ๋  ๋•Œ๋งŒ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค โ€” ์‹ค์ œ ์„ธ๊ณ„์—์„œ ํ•ด๋กœ์šด ์ฝ˜ํ…์ธ  ์ƒ์„ฑ, ์‹ค์ œ ์ธ๋ฌผ์˜ ๋น„๋™์˜์  ๋ฌ˜์‚ฌ, ์„ฑ์  ๋งฅ๋ฝ์—์„œ ๋ฏธ์„ฑ๋…„์ž๊ฐ€ ํฌํ•จ๋œ ์ฝ˜ํ…์ธ  ๋„๊ตฌ๋กœ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์€ ์ ํ•ฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. 2026๋…„ ๋Œ€๋ถ€๋ถ„์˜ ํ”ฝ์…˜ ๊ธ€์“ฐ๊ธฐ ์‚ฌ์šฉ ์‚ฌ๋ก€์— ์ ํ•ฉํ•œ ๋ชจ๋ธ์€ Hermes 3 Llama 3.3(์ ์€ ๊ฑฐ๋ถ€, ๊ฐ•๋ ฅํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ)๊ณผ Dolphin 3.0 Mistral(๋” ๋„“์€ ๋ฌด๊ฒ€์—ด ๋ฒ”์œ„, ๋” ์ž‘์€ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰)์ž…๋‹ˆ๋‹ค. ๋‘ ๋ชจ๋ธ ๋ชจ๋‘ Ollama ๋˜๋Š” LM Studio๋ฅผ ํ†ตํ•ด ์™„์ „ํžˆ ๋กœ์ปฌ๋กœ ์‹คํ–‰๋˜๋ฉฐ ๋ฐ์ดํ„ฐ๊ฐ€ ๊ธฐ๊ธฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ๋“ค์„ ์‚ฌ์šฉํ•  ๋•Œ ์œค๋ฆฌ์  ์ฑ…์ž„์€ ์ œ๋กœ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค โ€” ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ž‘์—…ํ•˜๋Š” ์ž‘๊ฐ€๋Š” ์–ด๋–ค ๋กœ์ปฌ ์„ค์ •๋„ ์ œ๊ฑฐํ•  ์ˆ˜ ์—†๋Š” ๋ฐฐํฌ, ๋ฏธ์„ฑ๋…„์ž, ์‹ค์ œ ์ธ๋ฌผ์— ๋Œ€ํ•œ ์˜๋ฌด๋ฅผ ์—ฌ์ „ํžˆ ๊ฐ–์Šต๋‹ˆ๋‹ค.

๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM์€ ํ”ฝ์…˜ ์ž‘๊ฐ€๊ฐ€ ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค๊ฐ€ ๊ฑฐ๋ถ€ํ•˜๋Š” ์„ฑ์ธ์šฉ, ๋„๋•์ ์œผ๋กœ ๋ณต์žกํ•œ, ์–ด๋‘์šด ์ฝ˜ํ…์ธ ๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค โ€” ๋ฐ์ดํ„ฐ๊ฐ€ ๊ธฐ๊ธฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด ๊ฐ€์ด๋“œ๋Š” ์‚ฌ์šฉํ•  ๋ชจ๋ธ, Ollama๋‚˜ LM Studio๋ฅผ ํ†ตํ•œ ์„ค์ • ๋ฐฉ๋ฒ•, ์„œ๋น„์Šค ์•ฝ๊ด€ ์ ์šฉ์ด ์—†์„ ๋•Œ๋„ ์ ์šฉ๋˜๋Š” ์ง„์ •ํ•œ ์œค๋ฆฌ์  ์ฑ…์ž„, ๊ทธ๋ฆฌ๊ณ  ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ์ ํ•ฉํ•œ ํŠน์ • ์‚ฌ์šฉ ์‚ฌ๋ก€์™€ ๊ทธ๋ ‡์ง€ ์•Š์€ ๊ฒฝ์šฐ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

์Šฌ๋ผ์ด๋“œ ๋ฑ: ์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ๋ฅผ ์œ„ํ•œ ๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM: ์ž‘๊ฐ€๊ฐ€ ํ•„์š”๋กœ ํ•  ๋•Œ (2026)

์•„๋ž˜ ํ”„๋ ˆ์  ํ…Œ์ด์…˜์€ ๋‹ค์Œ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค: "๋ฌด๊ฒ€์—ด" ํŒŒ์ธํŠœ๋‹์ด ์‹ค์ œ๋กœ ์˜๋ฏธํ•˜๋Š” ๊ฒƒ(RLHF ์ œ๊ฑฐ ๋Œ€ ์ œ๋กœ ์ œํ•œ); 5๊ฐœ ๋ชจ๋ธ ๋น„๊ตํ‘œ(Hermes 3 Llama 3.3๋ถ€ํ„ฐ Dolphin 3.0 Mistral Small๊นŒ์ง€ VRAM, ๊ฑฐ๋ถ€์œจ, ์ง€์‹œ ํ’ˆ์งˆ); ์ ํ•ฉํ•œ ์‚ฌ์šฉ ์‚ฌ๋ก€์™€ ๋ถ€์ ํ•ฉํ•œ ์‚ฌ์šฉ ์‚ฌ๋ก€; Ollama ์„ค์ • ๋ช…๋ น์–ด; ๋กœ์ปฌ ์„ค์ •๊ณผ ๋ฌด๊ด€ํ•˜๊ฒŒ ์ ์šฉ๋˜๋Š” ์œค๋ฆฌ์  ์ฑ…์ž„; 5๊ฐ€์ง€ ํ”ํ•œ ์‹ค์ˆ˜. PDF๋ฅผ ๋ฌด๊ฒ€์—ด LLM ์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ ์ฐธ์กฐ ์นด๋“œ๋กœ ๋‹ค์šด๋กœ๋“œํ•˜์‹ญ์‹œ์˜ค.

์•„๋ž˜ ์Šฌ๋ผ์ด๋“œ๋ฅผ ํƒ์ƒ‰ํ•˜๊ฑฐ๋‚˜ ์˜คํ”„๋ผ์ธ ์ฐธ์กฐ์šฉ์œผ๋กœ PDF๋ฅผ ๋‹ค์šด๋กœ๋“œํ•˜์‹ญ์‹œ์˜ค. ์ฐธ์กฐ ์นด๋“œ ๋‹ค์šด๋กœ๋“œ(PDF)

ํ•ต์‹ฌ ์š”์ 

  • "๋ฌด๊ฒ€์—ด"์€ ๋ชจ๋ธ์ด RLHF ์•ˆ์ „ ํŒŒ์ธํŠœ๋‹์ด ๊ฐ์†Œํ–ˆ๋‹ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•˜๋ฉฐ, ์ œํ•œ์ด ์ „ํ˜€ ์—†๋‹ค๋Š” ๊ฒƒ์ด ์•„๋‹™๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์€ ์—ฌ์ „ํžˆ ์ง€์‹œ ํ˜•์‹์„ ๋”ฐ๋ฅด๊ณ , ์บ๋ฆญํ„ฐ ์ผ๊ด€์„ฑ์„ ์œ ์ง€ํ•˜๋ฉฐ, ํ”„๋กฌํ”„ํŠธ๋กœ ์•ˆ๋‚ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. "๋ชจ๋“  ๊ฒƒ์ด ํ—ˆ์šฉ๋˜๋Š”" ์‹œ์Šคํ…œ์ด ์•„๋‹™๋‹ˆ๋‹ค.
  • Hermes 3 Llama 3.3์€ 2026๋…„ ํ”ฝ์…˜ ์ž‘๊ฐ€์—๊ฒŒ ์ตœ๊ณ ์˜ ๋ฒ”์šฉ ์„ ํƒ์ž…๋‹ˆ๋‹ค. ์ ์€ ์ž„์˜์  ๊ฑฐ๋ถ€, ๊ฐ•๋ ฅํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ, ์ข‹์€ ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ ์ฐจ๋ณ„ํ™”. ์ผ๋ถ€ ์™„์ „ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ์ƒ์„ฑํ•˜๋Š” ๊ณต๊ฒฉ์  ์ถœ๋ ฅ ์—†์ด ๊ธฐ๋Šฅ์„ ์›ํ•˜๋Š” ์ž‘๊ฐ€๋ฅผ ์œ„ํ•œ ์˜ฌ๋ฐ”๋ฅธ ์„ ํƒ.
  • ํ‘œ์ค€ ์ธ์ŠคํŠธ๋ŸญํŠธ ๋ชจ๋ธ์€ ์ข‹์€ ํ”„๋กฌํ”„ํŠธ๋กœ ๋Œ€๋ถ€๋ถ„์˜ ์„ฑ์ธ ๋ฌธํ•™ ์ฝ˜ํ…์ธ ๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ํญ๋ ฅ, ๋„๋•์  ๋ณต์žก์„ฑ, ์–ด๋‘์šด ์‹ฌ๋ฆฌ, ๋ฌธํ•™์  ์‚ฐ๋ฌธ์˜ ์„ฑ์ธ ํ…Œ๋งˆ๋Š” ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์„ ๊ฑฐ์˜ ํ•„์š”๋กœ ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ฑฐ๋ถ€ํ•˜๋Š” ๊ฒƒ์€ ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ ์™€ ์‹ค์ œ ํ•ด์˜ ์ƒ์„ธํ•œ ๋ฌ˜์‚ฌ์ž…๋‹ˆ๋‹ค. ๋ชจ๋ธ์„ ์ „ํ™˜ํ•˜๊ธฐ ์ „์— ์ž์‹ ์˜ ์ž‘์—…์ด ์–ด๋–ค ๋ฒ”์ฃผ์— ์†ํ•˜๋Š”์ง€ ํŒŒ์•…ํ•˜์‹ญ์‹œ์˜ค.
  • ๋กœ์ปฌ ์‹คํ–‰์€ ๋ฐ์ดํ„ฐ๊ฐ€ ๊ธฐ๊ธฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š์Œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค ์•ฝ๊ด€์ด ์ ์šฉ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ฝ˜ํ…์ธ ๊ฐ€ ๊ธฐ๋ก๋˜๊ฑฐ๋‚˜ ๋ถ„์„๋˜๊ฑฐ๋‚˜ ํ›ˆ๋ จ์— ์‚ฌ์šฉ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ์ž‘๊ฐ€๋“ค์ด ๋ฌด๊ฒ€์—ด ๋กœ์ปฌ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋Š” ์ฃผ์š” ๊ตฌ์กฐ์  ์ด์œ ์ž…๋‹ˆ๋‹ค โ€” ํ”„๋ผ์ด๋ฒ„์‹œ์™€ ํ”ฝ์…˜์—์„œ ์‚ฌ์šฉ ์ œํ•œ ์—†์Œ.
  • ์œค๋ฆฌ์  ์ฑ…์ž„์€ ์„œ๋น„์Šค ์•ฝ๊ด€ ์ ์šฉ์ด ์—†์–ด๋„ ์‚ฌ๋ผ์ง€์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ƒ์„ฑ๋œ ํ”ฝ์…˜์„ ๋ฐฐํฌํ•˜๋Š” ์ž‘๊ฐ€๋Š” ๋‹ค๋ฅธ ์ž‘๊ฐ€์™€ ๋™์ผํ•œ ๋ฒ•์  ์ฑ…์ž„์„ ์ง‘๋‹ˆ๋‹ค: ๋ฏธ์„ฑ๋…„์ž, ์‹ค์ œ ์ธ๋ฌผ, ์„ ๋™, ๊ด€ํ• ๊ถŒ๋ณ„ ์Œ๋ž€๋ฌผ ๋ฒ•๋ฅ ์€ ์ƒ์„ฑ ๋ฐฉ๋ฒ•์— ๊ด€๊ณ„์—†์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
  • Dolphin 3.0 Mistral์€ 16โ€“24GB ๊ธฐ๊ธฐ๋ฅผ ์œ„ํ•œ ๋” ๊ฐ€๋ฒผ์šด ์˜ต์…˜์ž…๋‹ˆ๋‹ค. Hermes 3๋ณด๋‹ค ๋” ๋„“์€ ๋ฌด๊ฒ€์—ด ์ถœ๋ ฅ ๋ฒ”์œ„์ด์ง€๋งŒ ๋ณต์žกํ•œ ์žฅ๋ฉด์—์„œ ๋” ์•ฝํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ. ๋‹จํŽธ ์†Œ์„ค, ํ”„๋กฌํ”„ํŠธ ํƒ์ƒ‰, ์Šคํƒ€์ผ ํ…Œ์ŠคํŠธ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
  • SillyTavern๊ณผ Agnai๋Š” Ollama ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์— ๊น”๋”ํ•˜๊ฒŒ ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค. ๋‘ ํ”„๋ก ํŠธ์—”๋“œ ์ค‘ ํ•˜๋‚˜๋ฅผ Ollama์˜ OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ์— ๊ฐ€๋ฆฌํ‚ค๊ณ  ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค. ์ถ”๊ฐ€ ์„ค์ •์ด ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋น ๋ฅธ ์‚ฌ์‹ค

  • ํ…Œ์ŠคํŠธ๋œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ: Hermes 3 Llama 3.3(์ฃผ), Dolphin 3.0 Mistral(๋ณด์กฐ).
  • ๋ฐฑ์—”๋“œ: Ollama(์ฃผ), LM Studio(GUI ์„ค์ •์„ ์œ„ํ•œ ๋Œ€์•ˆ).
  • ํ•˜๋“œ์›จ์–ด: Q4์˜ Hermes 3 70B๋Š” ~42GB ํ•„์š”; Dolphin 3.0 7B๋Š” 8GB๋กœ ์ž‘๋™; Dolphin 3.0 24B๋Š” ~16GB๋กœ ์ž‘๋™.
  • ํ”„๋ก ํŠธ์—”๋“œ: SillyTavern, Agnai, RisuAI ๋ชจ๋‘ OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ๋ฅผ ํ†ตํ•ด Ollama ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์— ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค.
  • ํ”„๋ผ์ด๋ฒ„์‹œ: ์™„์ „ํžˆ ๋กœ์ปฌ โ€” ํด๋ผ์šฐ๋“œ API ํ˜ธ์ถœ ์—†์Œ, ๋กœ๊ทธ ์—†์Œ, ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ์—†์Œ.
  • ์ ˆ๋Œ€์  ์œค๋ฆฌ ํ•œ๊ณ„: ๋ฏธ์„ฑ๋…„์ž๊ฐ€ ํฌํ•จ๋œ ์„ฑ์  ์ฝ˜ํ…์ธ  ์—†์Œ(์ ˆ๋Œ€ ๊ธˆ์ง€), ์‹๋ณ„ ๊ฐ€๋Šฅํ•œ ์‹ค์ œ ์ธ๋ฌผ์˜ ๋น„๋™์˜์  ์„ฑ์  ๋ฌ˜์‚ฌ ์—†์Œ, ์‹ค์ œ ํญ๋ ฅ์„ ์กฐ์žฅํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ ์ฝ˜ํ…์ธ  ์—†์Œ.
  • ๋ฐฐํฌ: ๊ฒŒ์‹œํ•˜๋Š” ์ฝ˜ํ…์ธ ๋Š” ์ƒ์„ฑ ๋ฐฉ๋ฒ•์— ๊ด€๊ณ„์—†์ด ์ €์ž‘ ์ฑ…์ž„์„ ์ง‘๋‹ˆ๋‹ค.

"๋ฌด๊ฒ€์—ด"์ด ์‹ค์ œ๋กœ ์˜๋ฏธํ•˜๋Š” ๊ฒƒ

๋กœ์ปฌ LLM ํŒŒ์ธํŠœ๋‹ ๋งฅ๋ฝ์—์„œ "๋ฌด๊ฒ€์—ด"์€ ๊ฐ์†Œ๋œ RLHF(์ธ๊ฐ„ ํ”ผ๋“œ๋ฐฑ ๊ฐ•ํ™” ํ•™์Šต) ์•ˆ์ „ ํ›ˆ๋ จ์„ ์˜๋ฏธํ•˜๋ฉฐ, ๋ชจ๋“  ๋ชจ๋ธ ์ œํ•œ์˜ ์ œ๊ฑฐ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ํ‘œ์ค€ ์ธ์ŠคํŠธ๋ŸญํŠธ ๋ชจ๋ธ์€ ํŠน์ • ์ฝ˜ํ…์ธ  ๋ฒ”์ฃผ๋ฅผ ๊ฑฐ๋ถ€ํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” RLHF ๋ ˆ์ด์–ด๋กœ ํ›ˆ๋ จ๋ฉ๋‹ˆ๋‹ค: ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ , ์ƒ์„ธํ•œ ํญ๋ ฅ, ์‹ค์ œ ํ•ด ํ…œํ”Œ๋ฆฟ์„ ๋‹ฎ์€ ์–ด๋‘์šด ์‹ฌ๋ฆฌ. ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹(Hermes 3, Dolphin, Wizard, Erebus)์€ ๊ธฐ๋ณธ ๋ชจ๋ธ์—์„œ ์ด๋Ÿฌํ•œ RLHF ๋ ˆ์ด์–ด๋ฅผ ์ œ๊ฑฐํ•˜๊ฑฐ๋‚˜ ์ค„์—ฌ, ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ ๋Šฅ๋ ฅ์€ ๊ทธ๋Œ€๋กœ ๋‘๋ฉด์„œ ๊ฑฐ๋ถ€ ํ–‰๋™์„ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ๋Š” ๋ฆฌ๋””๋ ‰์…˜, ์„ค๊ต, ์žฅ๋ฉด ์ค‘๊ฐ„ ์ •์ง€ ์—†์ด ์–ด๋‘์šด ์ฝ˜ํ…์ธ ๋ฅผ ํ†ตํ•ด ํ”ฝ์…˜ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋”ฐ๋ฅด๋Š” ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

๐Ÿ“ ํ•œ ๋ฌธ์žฅ์œผ๋กœ

๋กœ์ปฌ LLM ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์€ RLHF ์•ˆ์ „ ๊ฑฐ๋ถ€ ๋ ˆ์ด์–ด๋ฅผ ์ œ๊ฑฐํ•˜๋ฉด์„œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ ๋Šฅ๋ ฅ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค โ€” ๋ฆฌ๋””๋ ‰์…˜, ์„ค๊ต, ์žฅ๋ฉด ์ค‘๊ฐ„ ์ •์ง€ ์—†์ด ์–ด๋‘์šด ์ฐฝ์˜์  ๋ฐฉํ–ฅ์„ ๋”ฐ๋ฆ…๋‹ˆ๋‹ค.

๐Ÿ’ฌ ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด

Llama 3.3 70B ๊ฐ™์€ ํ‘œ์ค€ ๋ชจ๋ธ์€ ๊ณ ๋ฌธ์„ ๋ฌ˜์‚ฌํ•˜๋Š” ์žฅ๋ฉด, ๋„๋•์ ์œผ๋กœ ๋ณต์žกํ•œ ์•…๋‹น์˜ ๋…๋ฐฑ, ๋…ธ๊ณจ์ ์ธ ๋กœ๋งจํ‹ฑ ์ฝ˜ํ…์ธ  ์ค‘๊ฐ„์— ๋ฉˆ์ถ”๊ณ  ์ถœ๋ ฅ์„ ๊ฑฐ๋ถ€ํ•˜๊ฑฐ๋‚˜ ๋ถ€๋“œ๋Ÿฝ๊ฒŒ ๋งŒ๋“ญ๋‹ˆ๋‹ค. Hermes 3(๋™์ผํ•œ ๊ธฐ๋ฐ˜์˜ ๋ฌด๊ฒ€์—ด ๋ฒ„์ „)๋Š” ์ค‘๋‹จ ์—†์ด ๋™์ผํ•œ ํ’ˆ์งˆ ์ˆ˜์ค€์œผ๋กœ ๊ฐ™์€ ์žฅ๋ฉด์„ ํ†ตํ•ด ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋”ฐ๋ฆ…๋‹ˆ๋‹ค. ์‚ฐ๋ฌธ ํ’ˆ์งˆ์€ ๋™๋“ฑํ•ฉ๋‹ˆ๋‹ค; ์ฐจ์ด๋Š” ๊ฑฐ๋ถ€ ๋ ˆ์ด์–ด์— ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ œ๊ฑฐ๋˜๋Š” ๊ฒƒ: ํŠน์ • ์ฝ˜ํ…์ธ  ๋ฒ”์ฃผ(๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ , ๊ทธ๋ž˜ํ”ฝ ํญ๋ ฅ, ์–ด๋‘์šด ์‹ฌ๋ฆฌ์  ์ฝ˜ํ…์ธ )์— ๋Œ€ํ•œ ๊ฑฐ๋ถ€ ํ–‰๋™.
  • ์œ ์ง€๋˜๋Š” ๊ฒƒ: ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ, ์บ๋ฆญํ„ฐ ์ผ๊ด€์„ฑ, ํ”„๋กฌํ”„ํŠธ ๊ตฌ์กฐ ์ค€์ˆ˜, ์–ธ์–ด ํ’ˆ์งˆ.
  • ๋ฌด๊ฒ€์—ด์˜ ์ •๋„: Hermes 3๋Š” ์„ ํƒ์ ์œผ๋กœ ๋ฌด๊ฒ€์—ด(์„ฑ์ธ ์ฝ˜ํ…์ธ  ๊ฐ€๋Šฅ, ํ•˜์ง€๋งŒ ๊ทน๋‹จ์  ์ฝ˜ํ…์ธ ์— ๋Œ€ํ•œ ์ผ๋ถ€ ์žฅ๋ฒฝ ์œ ์ง€). Dolphin ์‹œ๋ฆฌ์ฆˆ๋Š” ๋” ๊ด‘๋ฒ”์œ„ํ•˜๊ฒŒ ๋ฌด๊ฒ€์—ด. ์™„์ „ํžˆ ์ œ๊ฑฐ๋œ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์€ ๊ฐ€์žฅ ๊ณต๊ฒฉ์ ์ธ ์žฅ๋ฒฝ ์ œ๊ฑฐ โ€” ๊ทธ๋ฆฌ๊ณ  ๋ณต์žกํ•œ ํ”ฝ์…˜ ์ž‘์—…์—์„œ ๊ฐ€์žฅ ์•ฝํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ.
  • ๊ธฐ๋ณธ ๋ชจ๋ธ ํ’ˆ์งˆ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค: ๊ธฐ๋ณธ ๋ชจ๋ธ์ด ์•ฝํ•œ ๊ฒฝ์šฐ ๋ฌด๊ฒ€์—ดํ™”๋Š” ์ง€์‹œ ํ’ˆ์งˆ์„ ์ €ํ•˜์‹œํ‚ต๋‹ˆ๋‹ค. Llama 3.3 70B ๊ธฐ๋ฐ˜์˜ Hermes 3๋Š” Llama 3.3์˜ ๊ฐ•๋ ฅํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค; Mistral Small ๊ธฐ๋ฐ˜์˜ Dolphin 3.0์€ ๋” ์ž‘์€ ๊ธฐ๋ณธ ๋ชจ๋ธ์— ์˜ํ•ด ์ œํ•œ๋ฉ๋‹ˆ๋‹ค.

๐Ÿ’กTip: ๋ฌด๊ฒ€์—ด์ด ์ œ์–ด ๋ถˆ๊ฐ€๋ฅผ ์˜๋ฏธํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์€ ํ”„๋กฌํ”„ํŠธ ๊ตฌ์กฐ๋ฅผ ๋”ฐ๋ฅด๊ณ , ๋‹จ์–ด ์ œํ•œ์„ ์กด์ค‘ํ•˜๋ฉฐ, ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ์œ ์ง€ํ•˜๊ณ , ์ˆ˜์ • ์ง€์‹œ์— ์‘๋‹ตํ•ฉ๋‹ˆ๋‹ค. ์ฐจ์ด์ ์€ ์›์น˜ ์•Š๋Š” ์ฝ˜ํ…์ธ  ๊ฒฝ๊ณ ๋ฅผ ์ถ”๊ฐ€ํ•˜์ง€ ์•Š๊ณ , ๋„๋•์ ์œผ๋กœ ์–ด๋‘์šด ๋ฐฉํ–ฅ์„ ๊ฑฐ๋ถ€ํ•˜์ง€ ์•Š์œผ๋ฉฐ, ์žฅ๋ฉด์ด ํ•ด๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค๊ณ  ์‹ ํ˜ธํ•˜๊ธฐ ์œ„ํ•ด ์บ๋ฆญํ„ฐ๋ฅผ ๊นจ์ง€ ์•Š๋Š”๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ํ”ฝ์…˜ ๊ธ€์“ฐ๊ธฐ ํ…œํ”Œ๋ฆฟ์˜ ๊ตฌ์กฐํ™”๋œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค โ€” ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ์™€ ์‚ฌ์šฉ์ž ํ”„๋กฌํ”„ํŠธ์˜ ๊ตฌ๋ณ„์ด ๋ชจ๋ธ์˜ ๋ฌด๊ฒ€์—ด ์ˆ˜์ค€๋ณด๋‹ค ๋” ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ์ด์œ ๋Š” ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ vs ์‚ฌ์šฉ์ž ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ฐธ์กฐํ•˜์‹ญ์‹œ์˜ค.

ํ…Œ์ŠคํŠธ ๋ฐฉ๋ฒ•

์ด ๊ฐ€์ด๋“œ์˜ ๋ชจ๋ธ ํŒ๋‹จ์€ ์†Œ๊ทœ๋ชจ ์ •์„ฑ์  ํ…Œ์ŠคํŠธ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค โ€” ๋™ํ–ฅ ์ง€ํ‘œ์ด๋ฉฐ ๋™๋ฃŒ ๊ฒ€ํ†  ๋ฒค์น˜๋งˆํฌ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ๋…์ž๊ฐ€ ๋ฏผ๊ฐํ•œ ๋ฌธ์ œ์— ๋Œ€ํ•œ ๋ชจ๋ธ ์ถ”์ฒœ์„ ์‹ ๋ขฐํ• ์ง€ ๊ฒฐ์ •ํ•˜๋Š” ์ฃผ์ œ์—์„œ, ๋ฐฉ๋ฒ•์— ๋Œ€ํ•œ ํˆฌ๋ช…์„ฑ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

  • ํ”„๋กฌํ”„ํŠธ ์„ธํŠธ: 5๊ฐœ ๋ฒ”์ฃผ 10๊ฐœ ํ”„๋กฌํ”„ํŠธ โ€” ์•…๋‹น ๋…๋ฐฑ, ์„ฑ์ธ ๋กœ๋งจ์Šค ์žฅ๋ฉด, ์ „์Ÿ ์†Œ์„ค์˜ ๊ทธ๋ž˜ํ”ฝ ํญ๋ ฅ, ๋„๋•์ ์œผ๋กœ ๋ณต์žกํ•œ ๋‚ด๋ ˆ์ดํ„ฐ, ์–ด๋‘์šด ์‹ฌ๋ฆฌ์  ์žฅ๋ฉด(๋ฒ”์ฃผ๋‹น 2๊ฐœ ํ”„๋กฌํ”„ํŠธ).
  • ๋ชจ๋ธ๋‹น ์‹คํ–‰ ์ˆ˜: ๋ชจ๋ธ๋‹น ๊ฐ ํ”„๋กฌํ”„ํŠธ 3ํšŒ ์‹คํ–‰.
  • ๊ฑฐ๋ถ€์œจ: ๋ชจ๋ธ์ด ์š”์ฒญ๋œ ์ฝ˜ํ…์ธ ๋ฅผ ์ง€์‹œ ์—†์ด ๊ฑฐ๋ถ€ํ•˜๊ฑฐ๋‚˜, ๋ฆฌ๋””๋ ‰์…˜ํ•˜๊ฑฐ๋‚˜, ๋ถ€๋“œ๋Ÿฝ๊ฒŒ ๋งŒ๋“  ์‹คํ–‰ ๋น„์œจ.
  • ํ‘œ๋ฅ˜ ์ธก์ •: ๋ชจ๋ธ์ด ํ”„๋กฌํ”„ํŠธ๊ฐ€ ๋ช…์‹œํ•œ ๊ฒƒ ์ด์ƒ์œผ๋กœ ์š”์ฒญํ•˜์ง€ ์•Š์€ ๊ทน๋‹จ์  ํ™•๋Œ€๋ฅผ ์ถ”๊ฐ€ํ•œ ์‹คํ–‰ ๋น„์œจ.
  • ๋ฐฑ์—”๋“œ: ๋ชจ๋“  ๋ชจ๋ธ์— ๋Œ€ํ•ด Q4_K_M ์–‘์žํ™”๋กœ Ollama 0.5+.
  • ์ •์ง์„ฑ ์ œํ•œ: ์†Œ๊ทœ๋ชจ ์ •์„ฑ์  ํ…Œ์ŠคํŠธ. ๊ฒฐ๊ณผ๋Š” ๋ชจ๋ธ ๊ฐ„ ๋ฐฉํ–ฅ์  ์ฐจ์ด๋ฅผ ๋‚˜ํƒ€๋‚ด๋ฉฐ ์ •ํ™•ํ•œ ์ˆ˜์น˜ ์ธก์ •์ด ์•„๋‹™๋‹ˆ๋‹ค. ํ‘œ์˜ ๊ทน๋‹จ์  ํ‘œ๋ฅ˜์™€ ๊ฑฐ๋ถ€์œจ ๊ฐ’์„ ๋Œ€ํ‘œ์  ํŒ๋‹จ์œผ๋กœ ์ทจ๊ธ‰ํ•˜์‹ญ์‹œ์˜ค.

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ํ”ฝ์…˜์— ์ ํ•ฉํ•œ ๊ฒฝ์šฐ

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์€ ํ”ฝ์…˜์ด ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค๊ฐ€ ๊ฑฐ๋ถ€ํ•˜๋Š” ์ฝ˜ํ…์ธ ๊ฐ€ ์ง„์ •์œผ๋กœ ํ•„์š”ํ•˜๊ณ , ๋…์ž๊ฐ€ ์„ฑ์ธ์ด๋ฉฐ, ๋ชฉ์ ์ด ์ฐฝ์˜์  ํ‘œํ˜„์ผ ๋•Œ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ํ”ฝ์…˜ ์ž‘๊ฐ€๋Š” ์ด๋Ÿฌํ•œ ํŠน์ • ์‚ฌ์šฉ ์‚ฌ๋ก€ ์ค‘ ํ•˜๋‚˜ ์ด์ƒ์„ ์œ„ํ•ด ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ „ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

  • ์•…๋‹น ์‹ฌ๋ฆฌ์™€ ๋…๋ฐฑ: ์žฅ๋ฉด ์ค‘๊ฐ„์— ๊ฒฝ๊ณ ๋ฅผ ์ถ”๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด ์บ๋ฆญํ„ฐ๋ฅผ ๊นจ๋Š” ๋ชจ๋ธ์— ์˜ํ•ด ์ค‘๋‹จ๋˜์ง€ ์•Š๋Š” ๋„๋•์ ์œผ๋กœ ์ผ๊ด€๋œ ์•…๋‹น ์บ๋ฆญํ„ฐ.
  • ์„ฑ์ธ ๋กœ๋งจํ‹ฑ ๋ฐ ์„ฑ์  ์ฝ˜ํ…์ธ : ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค๊ฐ€ ์ฐจ๋‹จํ•˜๋Š” ์„ฑ์  ์ฝ˜ํ…์ธ ๊ฐ€ ํ•„์š”ํ•œ ๋กœ๋งจ์Šค, ์—๋กœํ‹ฐ์นด ๋˜๋Š” ๋ฌธํ•™ ์†Œ์„ค์—์„œ ์„ฑ์ธ ํ—ˆ๊ตฌ ์บ๋ฆญํ„ฐ ๊ฐ„์˜ ๋…ธ๊ณจ์ ์ธ ์žฅ๋ฉด.
  • ์žฅ๋ฅด ์†Œ์„ค์˜ ๊ทธ๋ž˜ํ”ฝ ํญ๋ ฅ: ์ „์Ÿ ์†Œ์„ค, ๋ฒ”์ฃ„ ์Šค๋ฆด๋Ÿฌ, ๊ณตํฌ โ€” ํญ๋ ฅ์ด ๊ฐ์ •์  ์ถฉ๊ฒฉ์— ๊ทผ๋ณธ์ ์ด๋ฉฐ ๋ถ€๋“œ๋Ÿฝ๊ฒŒ ๋งŒ๋“ค๋ฉด ์žฅ๋ฉด์„ ํŒŒ๊ดดํ•˜๋Š” ์žฅ๋ฉด.
  • ํŠธ๋ผ์šฐ๋งˆ์™€ ์–ด๋‘์šด ์‹ฌ๋ฆฌ: ์ƒ์กด์ž ๋‚ด๋Ÿฌํ‹ฐ๋ธŒ, ์ค‘๋… ์†Œ์„ค, ํ•™๋Œ€ ์ด์•ผ๊ธฐ โ€” ์ง„์ •ํ•œ ๋ฌด๊ฒŒ๋ฅผ ๊ฐ–๊ธฐ ์œ„ํ•ด ํ•„ํ„ฐ๋ง๋˜์ง€ ์•Š์€ ๋ฌ˜์‚ฌ๊ฐ€ ํ•„์š”ํ•œ ์ฝ˜ํ…์ธ .
  • ๋„๋•์ ์œผ๋กœ ์‹ ๋ขฐํ•  ์ˆ˜ ์—†๋Š” ๋‚ด๋ ˆ์ดํ„ฐ: ํ‹€๋ฆฌ๊ฑฐ๋‚˜, ํ•ด๋ฅผ ํ•ฉ๋ฆฌํ™”ํ•˜๊ฑฐ๋‚˜, ์ž”์ธํ•˜๊ฑฐ๋‚˜, ํ”ฝ์…˜ ๋‚ด์—์„œ ํŽธํ˜‘ํ•œ ๋‚ด๋ ˆ์ดํ„ฐ โ€” ๋ชจ๋ธ์ด ์ผ๋ฐ˜์ ์œผ๋กœ ๊ฑฐ๋ถ€ํ•  ๊ด€์ ์„ ํ‘œํ˜„ํ•ด์•ผ ํ•˜๋Š” ์บ๋ฆญํ„ฐ.
  • ์–ด๋‘์šด ๋กคํ”Œ๋ ˆ์ด์™€ ํ˜‘์—… ํ”ฝ์…˜: ๊ฐˆ๋“ฑ, ๋„๋•์  ๋ณต์žก์„ฑ, ์„ฑ์ธ ํ…Œ๋งˆ๊ฐ€ ์žˆ๋Š” ์žฅ๊ธฐ ์‹œ๋‚˜๋ฆฌ์˜ค๋กœ, ํ‘œ์ค€ ๋ชจ๋ธ์ด ํ”ฝ์…˜์„ ๊นจ๊ณ  ๊ฑฐ๋ถ€๋ฅผ ์‚ฝ์ž…ํ•˜๋Š” ๊ฒฝ์šฐ.

๐Ÿ’กTip: ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ „ํ™˜ํ•˜๊ธฐ ์ „์— ํ‘œ์ค€ ์ธ์ŠคํŠธ๋ŸญํŠธ ๋ชจ๋ธ์—์„œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ…Œ์ŠคํŠธํ•˜์‹ญ์‹œ์˜ค. ์ž˜ ๊ตฌ์กฐํ™”๋œ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ์™€ ์žฅ๋ฉด ์ œ์•ฝ์ด ์žˆ๋Š” Llama 3.3 70B์™€ Qwen3 32B๋Š” ๊ฑฐ๋ถ€ ์—†์ด ๋Œ€๋ถ€๋ถ„์˜ ์„ฑ์ธ ๋ฌธํ•™ ์ฝ˜ํ…์ธ ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์€ ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ ์™€ ๋” ๊ทน๋‹จ์ ์ธ ํญ๋ ฅ ๋ฌ˜์‚ฌ์—์„œ ๋” ๋งŽ์€ ๊ฐ€์น˜๋ฅผ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค โ€” ์–ด๋‘์šด ์‹ฌ๋ฆฌ, ๋„๋•์  ๋ณต์žก์„ฑ, ์ผ๋ฐ˜์ ์œผ๋กœ ์–ด๋‘์šด ํ…Œ๋งˆ์—์„œ๋Š” ์•„๋‹™๋‹ˆ๋‹ค.

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ์ ํ•ฉํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ

ํด๋ผ์šฐ๋“œ ์ ์šฉ์˜ ๋ถ€์žฌ๊ฐ€ ๋ฒ•์ , ์œค๋ฆฌ์  ์˜๋ฌด์˜ ๋ถ€์žฌ๋ฅผ ์˜๋ฏธํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฒ”์ฃผ๋Š” ๋ชจ๋ธ, ํ”Œ๋žซํผ, ๊ธฐ๊ธฐ๊ฐ€ ๋„คํŠธ์›Œํฌ์—์„œ ๊ฒฉ๋ฆฌ๋˜์–ด ์žˆ๋Š”์ง€ ์—ฌ๋ถ€์— ๊ด€๊ณ„์—†์ด ์ ์šฉ๋˜๋Š” ์ ˆ๋Œ€์  ํ•œ๊ณ„๋ฅผ ๋‚˜ํƒ€๋ƒ…๋‹ˆ๋‹ค.

  • ๋ฏธ์„ฑ๋…„์ž๊ฐ€ ํฌํ•จ๋œ ์„ฑ์  ์ฝ˜ํ…์ธ : ํ—ˆ๊ตฌ์  ํ”„๋ ˆ์ด๋ฐ์ด๋‚˜ ์ƒ์„ฑ ๋ฐฉ๋ฒ•์— ๊ด€๊ณ„์—†์ด ๋ชจ๋“  ์ฃผ์š” ๊ด€ํ• ๊ถŒ์—์„œ ์ ˆ๋Œ€ ๋ฒ•์  ๊ธˆ์ง€. ์ด๊ฒƒ์€ ๋ชจ๋ธ ์ •์ฑ…์ด ์•„๋‹ˆ๋ผ ๋ฒ•๋ฅ ์ž…๋‹ˆ๋‹ค.
  • ์‹ค์ œ ์ธ๋ฌผ์˜ ๋น„๋™์˜์  ์„ฑ์  ๋ฌ˜์‚ฌ: NCII ๋ฒ•๋ฅ ์€ ์ฆ๊ฐ€ํ•˜๋Š” ๊ด€ํ• ๊ถŒ์—์„œ ์‹๋ณ„ ๊ฐ€๋Šฅํ•œ ์‹ค์ œ ์ธ๋ฌผ์˜ AI ์ƒ์„ฑ ์ฝ˜ํ…์ธ ์— ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. "AI๊ฐ€ ์ƒ์„ฑํ–ˆ๋‹ค"๋Š” ๊ฒƒ์€ ๋ฐฉ์–ด๊ฐ€ ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์‹ค์ œ ํ•ด๋ฅผ ์กฐ์žฅํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ ์ฝ˜ํ…์ธ : ํ—ˆ๊ตฌ์  ํ”„๋ ˆ์ด๋ฐ์„ ์‚ฌ์šฉํ•˜์—ฌ ์‹ค์ œ ํญ๋ ฅ์ด๋‚˜ ํ•ด๋ฅผ ์ง์ ‘ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ์ •๋ณด๋‚˜ ์ฝ˜ํ…์ธ ๋ฅผ ์ถ”์ถœํ•˜๋ฉด ํ—ˆ๊ตฌ์  ๋ณดํ˜ธ๊ฐ€ ์ œ๊ฑฐ๋ฉ๋‹ˆ๋‹ค.
  • ์ €์ž‘ ์ฑ…์ž„ ์—†๋Š” ๊ณต๊ฐœ ๋ฐฐํฌ: ๊ฒŒ์‹œํ•˜๊ฑฐ๋‚˜, ๋ฐฐํฌํ•˜๊ฑฐ๋‚˜, ๊ณต์œ ํ•˜๋Š” ์ฝ˜ํ…์ธ ๋Š” ์ €์ž‘ ์ฑ…์ž„์„ ์ง‘๋‹ˆ๋‹ค. "AI๊ฐ€ ์ƒ์„ฑํ–ˆ๋‹ค"๋Š” ๊ฒƒ์€ ๊ทธ ์ฑ…์ž„์„ ์ด์ „ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ๊ดด๋กญํž˜ ํ”ฝ์…˜: ํŠน์ • ์‹ค์ œ ์ธ๋ฌผ์„ ํ•ด์น˜๊ฑฐ๋‚˜, ์œ„ํ˜‘ํ•˜๊ฑฐ๋‚˜, ๊ดด๋กญํžˆ๋ ค๋Š” ๋ชฉ์ ์˜ ํ”ฝ์…˜ ์ƒ์„ฑ โ€” ํ”ฝ์…˜์œผ๋กœ ํ”„๋ ˆ์ด๋ฐ๋˜์–ด ์žˆ๋Š”์ง€ ์—ฌ๋ถ€์— ๊ด€๊ณ„์—†์ด.

โš ๏ธWarning: ์„ค์ •์— ๊ด€๊ณ„์—†๋Š” ์ ˆ๋Œ€์  ํ•œ๊ณ„. ์–ด๋–ค ๋กœ์ปฌ ์„ค์ •๋„ ๋‹ค์Œ์— ๋Œ€ํ•œ ๋ฒ•์  ๋˜๋Š” ์œค๋ฆฌ์  ์ฑ…์ž„์„ ์ œ๊ฑฐํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค: (1) ๋ฏธ์„ฑ๋…„์ž๊ฐ€ ํฌํ•จ๋œ ์„ฑ์  ์ฝ˜ํ…์ธ  โ€” ์‚ฌ์‹ค์ƒ ๋ชจ๋“  ๊ด€ํ• ๊ถŒ์—์„œ ๋ฒ•๋ฅ ์— ์˜ํ•œ ์ ˆ๋Œ€ ๊ธˆ์ง€; (2) ์‹๋ณ„ ๊ฐ€๋Šฅํ•œ ์‹ค์ œ ์ธ๋ฌผ์˜ ๋น„๋™์˜์  ์„ฑ์  ๋ฌ˜์‚ฌ โ€” ์ด๋Š” ์ƒ์„ฑ ๋ฐฉ๋ฒ•์— ๊ด€๊ณ„์—†์ด NCII(๋น„๋™์˜์  ์นœ๋ฐ€ํ•œ ์ด๋ฏธ์ง€)๋ฅผ ๊ตฌ์„ฑํ•ฉ๋‹ˆ๋‹ค; (3) ํŠน์ • ๋ชฉํ‘œ์— ๋Œ€ํ•œ ์‹ค์ œ ํญ๋ ฅ์„ ์กฐ์žฅํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ ์ฝ˜ํ…์ธ . ์ด๋Ÿฌํ•œ ํ•œ๊ณ„๋Š” ๋กœ์ปฌ, ํด๋ผ์šฐ๋“œ, ๋˜๋Š” ๊ฒฉ๋ฆฌ๋œ ๊ธฐ๊ธฐ์—์„œ ๋ชจ๋ธ์ด ์‹คํ–‰๋˜๋Š” ๊ฒฝ์šฐ์—๋„ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ ๋น„๊ต: ํ”ฝ์…˜์„ ์œ„ํ•œ ๋ฌด๊ฒ€์—ด ์˜ต์…˜

๋ชจ๋“  ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ๋™๋“ฑํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค โ€” RLHF ์ œ๊ฑฐ ์ •๋„์™€ ๊ธฐ๋ณธ ๋ชจ๋ธ ํ’ˆ์งˆ์ด ํ”ฝ์…˜ ๊ธ€์“ฐ๊ธฐ ์‚ฌ์šฉ ์‚ฌ๋ก€์—์„œ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

  • ์ฐธ๊ณ : ์ด์ „ ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹๋“ค โ€” Midnight Miqu(Miqu-70B ๊ธฐ๋ฐ˜), Wizard-LM Uncensored, Mythomax โ€” ์€ 2024๋…„ ์„ ๋‘์˜€์ง€๋งŒ ํ’ˆ์งˆ ๋ฐ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ ๋ฉ”ํŠธ๋ฆญ์—์„œ 2026๋…„์— Hermes 3์™€ Dolphin 3.0์— ์˜ํ•ด ์ถ”์›”๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋” ์˜ค๋ž˜๋œ ๊ธฐ์‚ฌ์—์„œ ์ถ”์ฒœ๋œ ๊ฒƒ์„ ๋ฐœ๊ฒฌํ•œ๋‹ค๋ฉด, ํ˜„์žฌ ๋™๋“ฑํ’ˆ์€ Hermes 3(์„ ํƒ์  ๋ฌด๊ฒ€์—ด์šฉ)์™€ Dolphin 3.0(๋” ๋„“์€ ๋ฒ”์œ„์šฉ)์ž…๋‹ˆ๋‹ค.
๋ชจ๋ธ๊ธฐ๋ฐ˜VRAM (Q4)๊ฑฐ๋ถ€์œจ์ง€์‹œ ํ’ˆ์งˆ๊ทน๋‹จ์  ํ‘œ๋ฅ˜์ตœ์ 
Hermes 3 Llama 3.3 70BLlama 3.3 70B~42 GB์„ ํƒ์ โ˜…โ˜…โ˜…โ˜…โ˜…๋‚ฎ์Œ์ง„์ง€ํ•œ ํ”ฝ์…˜์„ ์œ„ํ•œ ๊ธฐ๋ณธ ์˜ต์…˜ โ€” ์ตœ๊ณ ์˜ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ + ๋ฌด๊ฒ€์—ด ๊ธฐ๋Šฅ
Dolphin 3.0 Mistral 24BMistral 24B~16 GB๊ด‘๋ฒ”์œ„โ˜…โ˜…โ˜…โ˜…โ˜†๋‚ฎ์Œ-๋ณดํ†ต16โ€“24GB ์‹œ์Šคํ…œ; ๋” ๋„“์€ ๋ฒ”์œ„์˜ ์„ฑ์ธ ์ฝ˜ํ…์ธ 
Dolphin 3.0 Mistral SmallMistral Small~8 GB๊ด‘๋ฒ”์œ„โ˜…โ˜…โ˜…โ˜†โ˜†๋ณดํ†ต๋‚ฎ์€ VRAM ์‹œ์Šคํ…œ; ๋‹จํŽธ ์ดˆ์•ˆ, ํ”„๋กฌํ”„ํŠธ ํ…Œ์ŠคํŠธ
Hermes 3 Llama 3.2 8BLlama 3.2 8B~5 GB์„ ํƒ์ โ˜…โ˜…โ˜…โ˜†โ˜†๋‚ฎ์Œ์ œํ•œ๋œ ์ž์›; ๋Œ€ํ™”์™€ ๋” ์งง์€ ์žฅ๋ฉด
Standard Llama 3.3 70BLlama 3.3 70B~42 GB์ œํ•œ์ โ˜…โ˜…โ˜…โ˜…โ˜…์—†์Œ์–ด๋‘์šด ํ…Œ๋งˆ, ๋„๋•์  ๋ณต์žก์„ฑ, ํญ๋ ฅ โ€” ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ  ์—†์ด

๐Ÿ’กTip: ๊ฐ€์žฅ ๊ณต๊ฒฉ์ ์ธ ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์ด ์•„๋‹Œ Hermes 3๋กœ ์‹œ์ž‘ํ•˜์‹ญ์‹œ์˜ค. ์™„์ „ํžˆ ์ œ๊ฑฐ๋œ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์€ ๊ฐ€์žฅ ๋„“์€ ์ฝ˜ํ…์ธ  ๋ฒ”์œ„๋ฅผ ๊ฐ€์ง€์ง€๋งŒ ๋ณต์žกํ•œ ํ”ฝ์…˜ ์ž‘์—…์—์„œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ๊ฐ€ ํ˜„์ €ํžˆ ์•ฝํ•ฉ๋‹ˆ๋‹ค โ€” ์ œ์•ฝ์—์„œ ๋” ๋น ๋ฅด๊ฒŒ ์ดํƒˆํ•˜๊ณ , ๋” ๊ธด ์ƒ์„ฑ์—์„œ ๋” ๋‚ฎ์€ ํ’ˆ์งˆ์˜ ์‚ฐ๋ฌธ์„ ์ƒ์„ฑํ•˜๋ฉฐ, ๋œ ์•ˆ์ •์ ์œผ๋กœ ์บ๋ฆญํ„ฐ ๋ชฉ์†Œ๋ฆฌ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ์ฝ˜ํ…์ธ ์™€ ํ’ˆ์งˆ ์‚ฐ๋ฌธ ๋ชจ๋‘ ํ•„์š”ํ•œ ํ”ฝ์…˜์˜ ๊ฒฝ์šฐ, Hermes 3๊ฐ€ ์ตœ์„ ์˜ ์ ˆ์ถฉ์ ์ž…๋‹ˆ๋‹ค.

์„ค์ •: Ollama์™€ LM Studio

Ollama์™€ LM Studio ๋ชจ๋‘ ๋กœ์ปฌ OpenAI ํ˜ธํ™˜ API๋ฅผ ํ†ตํ•ด ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค โ€” SillyTavern, Agnai ๋ฐ ๋กœ์ปฌ ์—”๋“œํฌ์ธํŠธ์™€ ํ†ต์‹ ํ•˜๋Š” ๋‹ค๋ฅธ ๋„๊ตฌ๋“ค์ด ์ถ”๊ฐ€ ์„ค์ • ์—†์ด ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค.

Ollama: Hermes 3 ๋‹ค์šด๋กœ๋“œ ๋ฐ ์‹คํ–‰

โ€œ# Pull the model ollama pull nous-hermes3:70b-llama3.3-q4_K_M # Run it ollama run nous-hermes3:70b-llama3.3-q4_K_M # Serve via API (for SillyTavern / Agnai / LM Studio-compatible tools) ollama serve # API available at http://localhost:11434โ€

Ollama: Dolphin 3.0 Mistral 24B ๋‹ค์šด๋กœ๋“œ ๋ฐ ์‹คํ–‰

โ€œ# Pull the model ollama pull dolphin3:24b-mistral-q4_K_M # Verify it loaded ollama list # Run a test prompt ollama run dolphin3:24b-mistral-q4_K_M "Write a 100-word villain monologue, gothic register, no disclaimers."โ€
  • Ollama ์„ค์น˜: brew install ollama(macOS) ๋˜๋Š” ollama.com์—์„œ ๋‹ค์šด๋กœ๋“œ(Windows/Linux). ollama serve ๋ช…๋ น์ด http://localhost:11434์—์„œ OpenAI ํ˜ธํ™˜ API๋ฅผ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.
  • LM Studio ์„ค์น˜: lmstudio.ai์—์„œ ๋‹ค์šด๋กœ๋“œ. GGUF ๋ชจ๋ธ ํŒŒ์ผ์„ ์ง์ ‘ ๊ฐ€์ ธ์˜ค๊ธฐ; ๋กœ์ปฌ ์„œ๋ฒ„ ํƒญ์€ http://localhost:1234์—์„œ OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ๋ฅผ ๋…ธ์ถœํ•ฉ๋‹ˆ๋‹ค.
  • SillyTavern ์—ฐ๊ฒฐ: API ์„ค์ •์—์„œ "OpenAI ํ˜ธํ™˜"์„ ์„ ํƒํ•˜๊ณ  ๊ธฐ๋ณธ URL์„ http://localhost:11434/v1(Ollama) ๋˜๋Š” http://localhost:1234/v1(LM Studio)๋กœ ๊ฐ€๋ฆฌํ‚ค์‹ญ์‹œ์˜ค. API ํ‚ค ํ•„๋“œ์— ์ž„์˜์˜ ๋ฌธ์ž์—ด์„ ์ž…๋ ฅํ•˜์‹ญ์‹œ์˜ค(ํ•„๋“œ์—์„œ ํ•„์š”ํ•˜์ง€๋งŒ ๋กœ์ปฌ์—์„œ ๊ฒ€์ฆ๋˜์ง€ ์•Š์Œ).
  • Agnai ์—ฐ๊ฒฐ: ๋™์ผํ•œ OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ; ์–ด๋Œ‘ํ„ฐ ์„ค์ •์— ๋กœ์ปฌ URL ์ž…๋ ฅ. SillyTavern ์„ค์ •๊ณผ ๋™์ผํ•˜๊ฒŒ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ชจ๋ธ ์ „ํ™˜: Ollama์—์„œ `ollama run [๋ชจ๋ธ๋ช…]`์œผ๋กœ ํ‘œ์ค€ ๋ชจ๋ธ๊ณผ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ ์‚ฌ์ด๋ฅผ ์ „ํ™˜ํ•ฉ๋‹ˆ๋‹ค โ€” ์—ฌ๋Ÿฌ ๋ชจ๋ธ์ด ๋™์‹œ์— ๋กœ๋“œ๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ ์„œ๋ฒ„๋ฅผ ์žฌ์‹œ์ž‘ํ•˜์ง€ ์•Š๊ณ  ์„ธ์…˜๋ณ„๋กœ ์ „ํ™˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ’กTip: ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๊ณผ ํ‘œ์ค€ ๋ชจ๋ธ์„ ๋ถ„๋ฆฌํ•˜์—ฌ ์œ ์ง€ํ•˜๊ณ  ์‹ถ์€ ์ž‘๊ฐ€์˜ ๊ฒฝ์šฐ, OLLAMA_HOST ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋‹ค๋ฅธ ํฌํŠธ์—์„œ ๋‘ ๊ฐœ์˜ Ollama ์ธ์Šคํ„ด์Šค๋ฅผ ์ƒ์„ฑํ•˜์‹ญ์‹œ์˜ค. ์˜ˆ: OLLAMA_HOST=127.0.0.1:11435 ollama serve. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ๋‹ค๋ฅธ ์ž‘์—…์„ ์œ„ํ•œ ํ‘œ์ค€ Ollama ์ธ์Šคํ„ด์Šค๋ฅผ ์œ ์ง€ํ•˜๋ฉด์„œ SillyTavern ๋˜๋Š” Agnai๋ฅผ ๋ฌด๊ฒ€์—ด ์ธ์Šคํ„ด์Šค๋กœ ๊ฐ€๋ฆฌํ‚ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‚จ์•„์žˆ๋Š” ์œค๋ฆฌ์  ์ฑ…์ž„

ํด๋ผ์šฐ๋“œ ์ •์ฑ… ์ ์šฉ ์—†์ด ๋กœ์ปฌ๋กœ ๋ชจ๋ธ์„ ์‹คํ–‰ํ•˜๋Š” ๊ฒƒ์€ ์ž‘๊ฐ€์ด์ž ํŽธ์ง‘์ž๋กœ์„œ์˜ ์ฑ…์ž„์„ ์ œ๊ฑฐํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ธ๊ฐ„ ์ €์ž‘ ํ”ฝ์…˜์— ์ ์šฉ๋˜๋Š” ์œค๋ฆฌ์  ํ”„๋ ˆ์ž„์›Œํฌ๋Š” AI ๋ณด์กฐ ํ”ฝ์…˜์—๋„ ๋™๋“ฑํ•˜๊ฒŒ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

๐Ÿ“ ํ•œ ๋ฌธ์žฅ์œผ๋กœ

๋กœ์ปฌ ์„ค์ •์€ ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค ์•ฝ๊ด€ ์ œํ•œ์„ ์ œ๊ฑฐํ•˜์ง€๋งŒ, ๋ฒ•์  ์ €์ž‘ ์ฑ…์ž„, ํ•ด ์กฐ์žฅ ์ฑ…์ž„, ๊ณต๊ฐœ์ ์œผ๋กœ ๋ฐฐํฌ๋œ ์ฐฝ์˜์  ์ž‘ํ’ˆ์— ์ ์šฉ๋˜๋Š” ์œค๋ฆฌ์  ์˜๋ฌด๋ฅผ ์ œ๊ฑฐํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๐Ÿ’ฌ ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด

๋ฌด๊ฒ€์—ด ๋กœ์ปฌ ๋ชจ๋ธ์„ ๋‹น์‹ ์ด ์ฃผ๋Š” ๋ชจ๋“  ์ง€์‹œ๋ฅผ ๋”ฐ๋ฅด๋Š” ๋งค์šฐ ์œ ๋Šฅํ•œ ๊ธ€์“ฐ๊ธฐ ์กฐ์ˆ˜๋กœ ์ƒ๊ฐํ•˜์‹ญ์‹œ์˜ค. ์ƒ์„ฑํ•˜๊ณ  ๋ฐฐํฌํ•˜๋Š” ๊ฒƒ์˜ ๋ฒ•์ , ์œค๋ฆฌ์  ๋ฌด๊ฒŒ๋Š” ๋„๊ตฌ๊ฐ€ ์•„๋‹Œ ๋‹น์‹ ์—๊ฒŒ ์žˆ์Šต๋‹ˆ๋‹ค. ์ธ๊ฐ„ ์ €์ž‘ ํ”ฝ์…˜์— ์ ์šฉ๋˜๋Š” ๊ฒƒ๊ณผ ๋™์ผํ•œ ๋ฒ•๋ฅ  โ€” ๋ฏธ์„ฑ๋…„์ž, ์‹ค์ œ ์ธ๋ฌผ, ์Œ๋ž€๋ฌผ, ์„ ๋™์— ๊ด€ํ•œ โ€” ์ด ๊ณต๊ฐœ์ ์œผ๋กœ ๋ฐฐํฌ๋œ AI ์ƒ์„ฑ ํ”ฝ์…˜์— ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ์–ด๋–ค ํ”Œ๋žซํผ๋„ ๋กœ์ปฌ์—์„œ ์ฝ˜ํ…์ธ  ์ƒ์„ฑ์„ ๋ง‰์ง€ ์•Š๋Š”๋‹ค๋Š” ์‚ฌ์‹ค์ด ๊ฒŒ์‹œํ•  ๊ฒฝ์šฐ ๋ฒ•์ ์œผ๋กœ ์ฑ…์ž„์ง€๋Š” ๊ฒƒ์— ๋Œ€ํ•ด ๋ณ€ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

  • ์ €์ž‘ ์ฑ…์ž„: AI ๋ณด์กฐ ํ”ฝ์…˜์˜ ์ €์ž๋Š” ๋‹น์‹ ์ž…๋‹ˆ๋‹ค. "AI๊ฐ€ ์ƒ์„ฑํ–ˆ๋‹ค"๋Š” ๊ฒƒ์€ ์ €์ž‘๊ถŒ์„ ์ด์ „ํ•˜์ง€ ์•Š๊ณ , ์ฑ…์ž„์„ ์ œ๊ฑฐํ•˜์ง€ ์•Š์œผ๋ฉฐ, ๋ฒ•๋ฅ ์„ ์œ„๋ฐ˜ํ•˜๋Š” ์ฝ˜ํ…์ธ ์— ๋Œ€ํ•œ ๋ฐฉ์–ด๊ฐ€ ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ๊ด€ํ• ๊ถŒ ์ธ์‹: ์Œ๋ž€๋ฌผ, NCII, ์œ ํ•ด ์ฝ˜ํ…์ธ ์— ๊ด€ํ•œ ๋ฒ•๋ฅ ์€ ๊ด€ํ• ๊ถŒ๋งˆ๋‹ค ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ํ•œ ๋‚˜๋ผ์—์„œ ์ƒ์„ฑ์ด ํ•ฉ๋ฒ•์ ์ธ ์ฝ˜ํ…์ธ ๊ฐ€ ๋‹ค๋ฅธ ๋‚˜๋ผ์—์„œ ํ˜•์‚ฌ ๋ฒ”์ฃ„๋ฅผ ๋ฐฐํฌํ•˜๋Š” ๊ฒƒ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์‹ค์ œ ์ธ๋ฌผ: ๋ช…ํ™•ํ•˜๊ฒŒ ํ—ˆ๊ตฌ์ ์ธ ํ”„๋ ˆ์ž„์—์„œ๋„ ์‹๋ณ„ ๊ฐ€๋Šฅํ•œ ์‹ค์ œ ์ธ๋ฌผ์— ๋Œ€ํ•œ ๋ถ€์ •์ ์ธ ํ—ˆ๊ตฌ ์ฝ˜ํ…์ธ ๋ฅผ ์ƒ์„ฑํ•˜๋ฉด ์ฝ˜ํ…์ธ ์— ๋”ฐ๋ผ ๋ช…์˜ˆํ›ผ์†๊ณผ NCII์˜ ์œ„ํ—˜์ด ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฐฐํฌ๋ฅผ ์œ„ํ•œ ์—ฐ๋ น ํ™•์ธ: ๊ณต๊ฐœ ํ”Œ๋žซํผ์—์„œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ƒ์„ฑ๋œ ์„ฑ์ธ ๋˜๋Š” ์„ฑ์ˆ™ํ•œ ์ฝ˜ํ…์ธ ๋ฅผ ๋ฐฐํฌํ•˜๋Š” ๊ฒฝ์šฐ, ์„ฑ์ธ ์ฝ˜ํ…์ธ  ํผ๋ธ”๋ฆฌ์…”๋กœ์„œ ์ ์šฉ๋˜๋Š” ์—ฐ๋ น ํ™•์ธ ์˜๋ฌด๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
  • ์ฑ…์ž„ ์žˆ๋Š” ๋ณด๊ด€: ๋กœ์ปฌ์—์„œ ์ƒ์„ฑ๋œ ๋ฌด๊ฒ€์—ด ์ฝ˜ํ…์ธ ๋Š” ๋‹ค๋ฅธ ๋ฏผ๊ฐํ•œ ์ž๋ฃŒ์™€ ๋™์ผํ•œ ์ €์žฅ ๊ทœ์œจ๋กœ ์ฒ˜๋ฆฌ๋˜์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค โ€” ํด๋ผ์šฐ๋“œ ๋™๊ธฐํ™” ๋””๋ ‰ํ† ๋ฆฌ์— ์ €์žฅํ•˜์ง€ ๋ง๊ณ , ๋น„์˜๋„์ ์œผ๋กœ ๊ณต์œ ํ•˜์ง€ ๋งˆ์‹ญ์‹œ์˜ค.

โš ๏ธWarning: ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋Š” ์ž‘๊ฐ€๋“ค ์‚ฌ์ด์—์„œ ๊ฐ€์žฅ ํ”ํ•œ ์œค๋ฆฌ์  ์‹ค์ˆ˜๋Š” ๋กœ์ปฌ ์ƒ์„ฑ์„ ๋งฅ๋ฝ์ด ์—†๋Š” ๊ตฌ์—ญ์œผ๋กœ ์ทจ๊ธ‰ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋กœ์ปฌ ์ƒ์„ฑ์€ ํ”Œ๋žซํผ ์ •์ฑ… ์ ์šฉ์ด ์—†์Œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค โ€” ๋ฒ•, ์ฑ…์ž„, ํ•ด๊ฐ€ ์—†์Œ์„ ์˜๋ฏธํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ฝ˜ํ…์ธ  ์กฐ์ •์ž์˜ ๋ถ€์žฌ๋Š” ํ—ˆ๊ฐ€๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค.

ํ”ฝ์…˜ ์ž‘๊ฐ€๋ฅผ ์œ„ํ•œ ์‹ค์šฉ์ ์ธ ์›Œํฌํ”Œ๋กœ์šฐ

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋Š” ๋Œ€๋ถ€๋ถ„์˜ ํ”ฝ์…˜ ์ž‘๊ฐ€๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ์˜ ๊ธฐ๋ณธ ๋Œ€์ฒดํ’ˆ์œผ๋กœ๊ฐ€ ์•„๋‹Œ ํŠน์ • ์žฅ๋ฉด์„ ์œ„ํ•ด ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์•„๋ž˜ ์›Œํฌํ”Œ๋กœ์šฐ๋Š” ์ด๋Ÿฌํ•œ ํŠน์ • ์‚ฌ์šฉ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

  • ํ‘œ์ค€ ์žฅ๋ฉด์€ ํ‘œ์ค€ ๋ชจ๋ธ๋กœ ์ดˆ์•ˆ ์ž‘์„ฑ. Llama 3.3 70B ๋˜๋Š” Qwen3 32B๋Š” ์–ด๋‘์šด ํ…Œ๋งˆ, ๋„๋•์  ๋ณต์žก์„ฑ, ์‹ฌ๋ฆฌ์  ๊นŠ์ด๋ฅผ ํฌํ•จํ•œ ๋Œ€๋ถ€๋ถ„์˜ ๋ฌธํ•™์  ์‚ฐ๋ฌธ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์€ ํ‘œ์ค€ ๋ชจ๋ธ์ด ๊ฑฐ๋ถ€ํ•˜๋Š” ์ฝ˜ํ…์ธ ๊ฐ€ ๊ตฌ์ฒด์ ์œผ๋กœ ํ•„์š”ํ•œ ์žฅ๋ฉด์„ ์œ„ํ•ด ์˜ˆ์•ฝํ•˜์‹ญ์‹œ์˜ค.
  • ํŠน์ • ์žฅ๋ฉด์„ ์œ„ํ•ด ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ „ํ™˜. Ollama์—์„œ ํŠน์ • ์žฅ๋ฉด์„ ์œ„ํ•ด ollama run nous-hermes3:70b-llama3.3-q4_K_M์„ ์‹คํ–‰ํ•˜์‹ญ์‹œ์˜ค. SillyTavern์—์„œ ์„ธ์…˜๋ณ„ API ์„ค์ •์—์„œ ๋ชจ๋ธ์„ ์ „ํ™˜ํ•˜์‹ญ์‹œ์˜ค. ์„ธ์…˜ ๊ฐ„์— ๊ต์ฐจ๋˜๋Š” ๋ฐ์ดํ„ฐ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.
  • ๋™์ผํ•œ ํ”„๋กฌํ”„ํŠธ ํ…œํ”Œ๋ฆฟ ์‚ฌ์šฉ. ํ”ฝ์…˜ ์ž‘๊ฐ€๋ฅผ ์œ„ํ•œ ๋กœ์ปฌ LLM ํ”„๋กฌํ”„ํŠธ์˜ 5๋ถ€ ์žฅ๋ฉด ํ…œํ”Œ๋ฆฟ, ์„œ๋ธŒํ…์ŠคํŠธ ๋Œ€ํ™” ๊ตฌ์กฐ, ์บ๋ฆญํ„ฐ ๋ชจ์ˆœ ํ”„๋กฌํ”„ํŠธ๋Š” ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์—์„œ ๋™์ผํ•˜๊ฒŒ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ํ”„๋กฌํ”„ํŠธ ๊ตฌ์กฐ๊ฐ€ ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ๋ฒ•์  ์ด์œ ๋กœ ์ธ๊ฐ„ ์ €์ž ๋ธŒ๋ฆฌํ”„์— ๋‚˜ํƒ€๋‚˜์ง€ ์•Š์„ ์ฝ˜ํ…์ธ  ์ƒ์„ฑ ์ง€์‹œ๋ฅผ ์ถ”๊ฐ€ํ•˜์ง€ ๋งˆ์‹ญ์‹œ์˜ค. ๋ชจ๋ธ์€ ๋„๊ตฌ์ด์ง€ ๊ถŒํ•œ ๊ตฌ์กฐ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ๋ฒ•์  ์ด์œ ๋กœ ์ธ๊ฐ„ ์‚ฝํ™”๊ฐ€๋‚˜ ๋Œ€ํ•„ ์ž‘๊ฐ€์—๊ฒŒ ๋ธŒ๋ฆฌํ”„์— ํฌํ•จํ•˜์ง€ ์•Š์„ ์ง€์‹œ๋Š” ๋ชจ๋ธ ํ”„๋กฌํ”„ํŠธ์— ํฌํ•จํ•˜์ง€ ๋งˆ์‹ญ์‹œ์˜ค.
  • ๋ฐฐํฌ ์ „ ์ถœ๋ ฅ๋ฌผ ๊ฒ€ํ† . ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์€ ๊ฐ€๋” ์š”์ฒญ๋œ ์–ด๋‘์›€์„ ์ดˆ๊ณผํ•˜๊ฑฐ๋‚˜ ๊ณ ์ •๊ด€๋…์œผ๋กœ ์ดํƒˆํ•˜๋Š” ์ฝ˜ํ…์ธ ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. AI ๋ณด์กฐ ์ฝ˜ํ…์ธ ์˜ ํ‘œ์ค€ ํŽธ์ง‘ ๊ฒ€ํ† ๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

๐Ÿ’กTip: ๊ธ€์“ฐ๊ธฐ ํ”„๋กœ์ ํŠธ๋ณ„ "๋ชจ๋ธ ๋กœ๊ทธ"๋ฅผ ์œ ์ง€ํ•˜์‹ญ์‹œ์˜ค โ€” ์–ด๋–ค ๋ชจ๋ธ์ด ์–ด๋–ค ์žฅ๋ฉด์„ ์ƒ์„ฑํ–ˆ๋Š”์ง€ ๊ธฐ๋กํ•˜๋Š” ํ‰๋ฌธ ํ…์ŠคํŠธ ํŒŒ์ผ. ์ด๊ฒƒ์€ ๊ฒ€ํ† ์— ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค(์–ด๋–ค ๋ชจ๋ธ์ด ์žฅ๋ฉด์„ ์ƒ์„ฑํ–ˆ๋Š”์ง€ ์•Œ๋ฉด ์ˆ˜์ • ์š”์ฒญ์„ ์–ด๋””๋กœ ๋ณด๋‚ผ์ง€ ์•Œ ์ˆ˜ ์žˆ์Œ), AI ์ง€์›์„ ๊ณต๊ฐœํ•˜๋Š” ๊ฒฝ์šฐ ๊ท€์† ํˆฌ๋ช…์„ฑ์„ ์œ„ํ•ด, ๊ทธ๋ฆฌ๊ณ  ๋‚˜์ค‘์— ์žฅ๋ฉด์ด ์งˆ๋ฌธ์„ ์ œ๊ธฐํ•˜๋Š” ๊ฒฝ์šฐ ๊ฐ์‚ฌ๋ฅผ ์œ„ํ•ด ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

ํ”ํ•œ ์‹ค์ˆ˜

  • ๊ฐ€์žฅ ๊ณต๊ฒฉ์ ์ธ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ๊ธฐ๋ณธ์œผ๋กœ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ. ์™„์ „ํžˆ ์ œ๊ฑฐ๋œ ๋ชจ๋ธ(Wizard-Uncensored, Erebus)์€ ๋ณต์žกํ•œ ์žฅ๋ฉด์—์„œ ๊ฐ€์žฅ ์•ฝํ•œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. Hermes 3๊ฐ€ ํ”ฝ์…˜ ํ’ˆ์งˆ์„ ์œ„ํ•œ ๋” ๋‚˜์€ ์ ˆ์ถฉ์ ์ž…๋‹ˆ๋‹ค.
  • ํ‘œ์ค€ ๋ชจ๋ธ์ด ์ƒ์„ฑํ•  ์ฝ˜ํ…์ธ ์— ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ ์‚ฌ์šฉํ•˜๊ธฐ. ๋„๋•์  ๋ณต์žก์„ฑ, ์–ด๋‘์šด ์‹ฌ๋ฆฌ, ํญ๋ ฅ, ๋ฌธํ•™์  ์‚ฐ๋ฌธ์˜ ์„ฑ์ธ ํ…Œ๋งˆ๋Š” ๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์„ ๊ฑฐ์˜ ํ•„์š”๋กœ ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ „ํ™˜ํ•˜๊ธฐ ์ „์— ์ •ํ™•ํžˆ ๋ฌด์—‡์ด ํ•„์š”ํ•œ์ง€ ํŒŒ์•…ํ•˜์‹ญ์‹œ์˜ค.
  • ๋กœ์ปฌ ์ƒ์„ฑ์„ ๋ฒ•์ ์œผ๋กœ ๋งฅ๋ฝ์ด ์—†๋Š” ๊ตฌ์—ญ์œผ๋กœ ์ทจ๊ธ‰ํ•˜๊ธฐ. ํด๋ผ์šฐ๋“œ ์ •์ฑ… ์ ์šฉ์˜ ๋ถ€์žฌ๋Š” ๋ฒ•์˜ ๋ถ€์žฌ๋ฅผ ์˜๋ฏธํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฐฐํฌ, ์‹ค์ œ ์ธ๋ฌผ, ๋ฏธ์„ฑ๋…„์ž์— ๋Œ€ํ•œ ์ €์ž‘ ์ฑ…์ž„์€ ๊ด€๊ณ„์—†์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
  • ๋‹จ์–ด ์ œํ•œ์„ ์ง€์ •ํ•˜์ง€ ์•Š๊ธฐ. ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์€ ์–ด๋‘์šด ์ฝ˜ํ…์ธ ๋ฅผ ๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ๊ณต๊ฐ„์„ ์ฑ„์šฐ๊ธฐ ์œ„ํ•ด ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ํ”ฝ์…˜ ํ…œํ”Œ๋ฆฟ๊ณผ ๋™์ผํ•œ ๋‹จ์–ด ์ œํ•œ ์ œ์•ฝ์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค.
  • ํด๋ผ์šฐ๋“œ ๋™๊ธฐํ™” ๋””๋ ‰ํ† ๋ฆฌ์— ์ถœ๋ ฅ๋ฌผ ์ €์žฅํ•˜๊ธฐ. ๋กœ์ปฌ์—์„œ ์ƒ์„ฑ๋œ ์„ฑ์ธ ์ฝ˜ํ…์ธ ๊ฐ€ iCloud, Google Drive ๋˜๋Š” OneDrive์— ๋™๊ธฐํ™”๋˜๋ฉด ํ•ด๋‹น ํ”Œ๋žซํผ์˜ ์„œ๋น„์Šค ์•ฝ๊ด€์„ ์œ„๋ฐ˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋กœ์ปฌ์—๋งŒ ์ €์žฅํ•˜์‹ญ์‹œ์˜ค.

์ถœ์ฒ˜

  • Hermes 3 ๋ชจ๋ธ ์นด๋“œ ๋ฐ ํŒŒ์ธํŠœ๋‹ ๋ฐฉ๋ฒ•๋ก  โ€” Nous Research
  • Dolphin 3.0 Mistral ๊ธฐ์ˆ  ๋ฌธ์„œ โ€” Cognitive Computations / Eric Hartford
  • RLHF ๊ธฐ๋ฒ• ๋ฐ ์ •๋ ฌ ๊ฐœ์š” โ€” Anthropic Research
  • EU AI Act ์ œ5์กฐ โ€” ๋ฏธ์„ฑ๋…„์ž ํฌํ•จ ์ฝ˜ํ…์ธ ๋ฅผ ํฌํ•จํ•œ ๊ธˆ์ง€๋œ AI ๊ด€ํ–‰ โ€” EUR-Lex
  • NCII(๋น„๋™์˜์  ์นœ๋ฐ€ํ•œ ์ด๋ฏธ์ง€) โ€” ๋ฒ•์  ํ”„๋ ˆ์ž„์›Œํฌ ๊ฐœ์š” โ€” Cyber Civil Rights Initiative

FAQ

๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM ์‹คํ–‰์ด ํ•ฉ๋ฒ•์ ์ž…๋‹ˆ๊นŒ?

๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM ์‹คํ–‰์€ ๋Œ€๋ถ€๋ถ„์˜ ๊ด€ํ• ๊ถŒ์—์„œ ํ•ฉ๋ฒ•์ ์ž…๋‹ˆ๋‹ค โ€” ์˜คํ”ˆ ์†Œ์Šค AI ์†Œํ”„ํŠธ์›จ์–ด ์†Œ์œ ๋ฅผ ๊ธˆ์ง€ํ•˜๋Š” ๋ฒ•๋ฅ ์€ ์—†์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑํ•˜๊ณ  ๋ฐฐํฌํ•˜๋Š” ๊ฒƒ์€ ๋‹ค๋ฅธ ์ž์ฒด ์ €์ž‘ ์ฝ˜ํ…์ธ ์™€ ๋™์ผํ•œ ๋ฒ•๋ฅ ์˜ ์ ์šฉ์„ ๋ฐ›์Šต๋‹ˆ๋‹ค: ์Œ๋ž€๋ฌผ ๋ฒ•, NCII ๋ฒ•, ๋ช…์˜ˆํ›ผ์† ๋ฒ•, ๋ฏธ์„ฑ๋…„์ž ํฌํ•จ ์ฝ˜ํ…์ธ ์— ๊ด€ํ•œ ๋ฒ•๋ฅ . ์‹คํ–‰์ด ํ•ฉ๋ฒ•์ ์ด๋ผ๋Š” ๊ฒƒ์ด ์ œํ•œ ์—†์ด ๊ฒŒ์‹œํ•˜๊ฑฐ๋‚˜ ๊ณต์œ ํ•˜๊ฑฐ๋‚˜ ๋ฐฐํฌํ•˜๋Š” ๊ฒƒ์ด ํ•ฉ๋ฒ•์ ์ž„์„ ์˜๋ฏธํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

Hermes 3์™€ Dolphin 3.0์˜ ์ฐจ์ด๋Š” ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

Hermes 3(Nous Research)๋Š” ์„ ํƒ์ ์œผ๋กœ ๋ฌด๊ฒ€์—ด๋ฉ๋‹ˆ๋‹ค โ€” ์„ฑ์ธ ์ฝ˜ํ…์ธ ์— ๋Œ€ํ•œ ๊ฑฐ๋ถ€๋ฅผ ์ค„์ด๋ฉด์„œ ๊ทน๋‹จ์  ๋ฒ”์ฃผ์— ๋Œ€ํ•œ ์ผ๋ถ€ ์žฅ๋ฒฝ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ Llama 3.3 70B์— ๊ฐ€๊นŒ์šด ์ˆ˜์ค€์œผ๋กœ ์šฐ์ˆ˜ํ•ฉ๋‹ˆ๋‹ค. Dolphin 3.0(Cognitive Computations)์€ ๋” ๋„“์€ ์ฝ˜ํ…์ธ  ๋ฒ”์œ„์—์„œ ๋” ๊ด‘๋ฒ”์œ„ํ•˜๊ฒŒ ๋ฌด๊ฒ€์—ด๋˜์ง€๋งŒ, ์—ฌ๋Ÿฌ ์ œ์•ฝ์ด ์žˆ๋Š” ๋ณต์žกํ•œ ์žฅ๋ฉด์—์„œ ์ง€์‹œ ๋”ฐ๋ฅด๊ธฐ๊ฐ€ ์•ฝ๊ฐ„ ๋” ์•ฝํ•ฉ๋‹ˆ๋‹ค. Hermes 3๋Š” ์‚ฐ๋ฌธ ํ’ˆ์งˆ์ด ์ค‘์š”ํ•œ ํ”ฝ์…˜์˜ ๊ฒฝ์šฐ ์ตœ์„ ์˜ ๊ธฐ๋ณธ ์„ ํƒ์ด๊ณ ; Dolphin 3.0์€ 16โ€“24GB ์‹œ์Šคํ…œ์—์„œ ๊ฐ€์žฅ ๋„“์€ ์ฝ˜ํ…์ธ  ๋ฒ”์œ„๊ฐ€ ํ•„์š”ํ•  ๋•Œ ์ตœ์„ ์˜ ์„ ํƒ์ž…๋‹ˆ๋‹ค.

์–ด๋‘์šด ํ”ฝ์…˜์„ ์“ฐ๊ธฐ ์œ„ํ•ด ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๊นŒ?

๋Œ€๋ถ€๋ถ„์˜ ์–ด๋‘์šด ํ”ฝ์…˜์—๋Š” ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. Llama 3.3 70B์™€ Qwen3 32B ๊ฐ™์€ ํ‘œ์ค€ ์ธ์ŠคํŠธ๋ŸญํŠธ ๋ชจ๋ธ์€ ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ํ”„๋กฌํ”„ํŠธ๋˜๋ฉด ํญ๋ ฅ, ๋„๋•์  ๋ณต์žก์„ฑ, ์–ด๋‘์šด ์‹ฌ๋ฆฌ, ์•…๋‹น์˜ ๋‚ด๋ฉด, ํŠธ๋ผ์šฐ๋งˆ, ๋Œ€๋ถ€๋ถ„์˜ ๋ฌธํ•™์  ์–ด๋‘์›€์„ ๊ฑฐ๋ถ€ ์—†์ด ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์•ˆ์ •์ ์œผ๋กœ ๊ฑฐ๋ถ€ํ•˜๋Š” ๊ฒƒ์€ ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ ์™€ ๋” ์ž‘์€ ๊ทน๋‹จ์  ์‹œ๋‚˜๋ฆฌ์˜ค ์ง‘ํ•ฉ์ž…๋‹ˆ๋‹ค. ์–ด๋‘์šด ํ”ฝ์…˜์— ๋…ธ๊ณจ์ ์ธ ์„ฑ์  ์ฝ˜ํ…์ธ ๊ฐ€ ํฌํ•จ๋˜์ง€ ์•Š๋Š”๋‹ค๋ฉด, ๋จผ์ € ํ‘œ์ค€ ๋ชจ๋ธ์„ ํ…Œ์ŠคํŠธํ•˜์‹ญ์‹œ์˜ค โ€” ๋ฌด๊ฒ€์—ด ๋ฒ„์ „์ด ํ•„์š”ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

SillyTavern ๋˜๋Š” Agnai์—์„œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๋„ค. SillyTavern๊ณผ Agnai ๋ชจ๋‘ OpenAI ํ˜ธํ™˜ ์—”๋“œํฌ์ธํŠธ์— ์—ฐ๊ฒฐ๋ฉ๋‹ˆ๋‹ค โ€” ํฌํŠธ 11434์—์„œ ๋กœ์ปฌ๋กœ ์‹คํ–‰ ์ค‘์ธ Ollama ํฌํ•จ. Ollama์—์„œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ , ollama serve๋ฅผ ์‹œ์ž‘ํ•˜๊ณ , SillyTavern์ด๋‚˜ Agnai์—์„œ OpenAI ํ˜ธํ™˜ API๋ฅผ ์„ ํƒํ•˜๊ณ  http://localhost:11434/v1๋กœ ๊ฐ€๋ฆฌํ‚ค์‹ญ์‹œ์˜ค. ๋ชจ๋ธ ๋ชฉ๋ก์—์„œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์„ ํƒํ•˜์‹ญ์‹œ์˜ค. ์ถ”๊ฐ€ ์„ค์ •์ด ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์ด ํ™ˆ ๋„คํŠธ์›Œํฌ์—์„œ ์•ˆ์ „ํ•ฉ๋‹ˆ๊นŒ?

Ollama์™€ LM Studio์˜ ๊ธฐ๋ณธ ์„ค์ •์ธ localhost์— ๋ฐ”์ธ๋”ฉ๋  ๋•Œ ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค. API๋Š” ๊ธฐ๊ธฐ์—์„œ๋งŒ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ™ˆ ๋„คํŠธ์›Œํฌ์—์„œ ํฌํŠธ๋ฅผ ๋…ธ์ถœํ•˜๋Š” ๊ฒฝ์šฐ(์˜ˆ: ์ „ํ™”์—์„œ ์ ‘๊ทผํ•˜๊ธฐ ์œ„ํ•ด), ๋ฐฉํ™”๋ฒฝ ๊ทœ์น™์ด ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐ๊ธฐ๋กœ ์ ‘๊ทผ์„ ์ œํ•œํ•˜๋Š”์ง€ ํ™•์ธํ•˜์‹ญ์‹œ์˜ค. ์ธ์ฆ ์—†์ด ๊ณต๊ฐœ ์ธํ„ฐ๋„ท์— Ollama API๋ฅผ ๋…ธ์ถœํ•˜์ง€ ๋งˆ์‹ญ์‹œ์˜ค โ€” ๊ธฐ๋ณธ ์„ค์ •์—๋Š” ์ธ์ฆ์ด ์—†์Šต๋‹ˆ๋‹ค.

๋กœ์ปฌ์—์„œ ์ƒ์„ฑํ•œ ์ฝ˜ํ…์ธ ๋Š” ์–ด๋–ป๊ฒŒ ๋ฉ๋‹ˆ๊นŒ?

์ž๋™์œผ๋กœ๋Š” ์•„๋ฌด๊ฒƒ๋„ ์ผ์–ด๋‚˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋กœ์ปฌ์—์„œ ์ƒ์„ฑ๋œ ์ฝ˜ํ…์ธ ๋Š” ์„œ๋ฒ„๋กœ ์ „์†ก๋˜์ง€ ์•Š๊ณ , ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค์— ์˜ํ•ด ๊ธฐ๋ก๋˜์ง€ ์•Š์œผ๋ฉฐ, ๋ชจ๋ธ ํ›ˆ๋ จ์— ์‚ฌ์šฉ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ธฐ๊ธฐ์—์„œ๋งŒ ์กด์žฌํ•˜๋ฉฐ, ์•ฑ์˜ ๋กœ์ปฌ ์ €์žฅ์†Œ(์ฑ„ํŒ… ๊ธฐ๋ก ํŒŒ์ผ, ์บ๋ฆญํ„ฐ ์นด๋“œ ๋“ฑ)์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค. ์ €์žฅ, ์‚ญ์ œ, ๊ณต์œ ๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ํด๋ผ์šฐ๋“œ ๋Œ€์•ˆ์— ๋น„ํ•ด ๋กœ์ปฌ ๋ฌด๊ฒ€์—ด ์ƒ์„ฑ์˜ ์ฃผ์š” ๊ตฌ์กฐ์  ํ”„๋ผ์ด๋ฒ„์‹œ ์ด์ ์ž…๋‹ˆ๋‹ค.

๊ฐ™์€ ๊ธ€์“ฐ๊ธฐ ํ”„๋กœ์ ํŠธ์—์„œ ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๊ณผ ํ‘œ์ค€ ๋ชจ๋ธ์„ ํ˜ผํ•ฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๋„ค, ์ด๊ฒƒ์ด ๊ถŒ์žฅ ์›Œํฌํ”Œ๋กœ์šฐ์ž…๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ์‚ฐ๋ฌธ์—๋Š” ํ‘œ์ค€ ๋ชจ๋ธ(Llama 3.3 70B, Qwen3 32B)์„ ์‚ฌ์šฉํ•˜์‹ญ์‹œ์˜ค โ€” ํ‘œ์ค€ ๋ชจ๋ธ์€ ๋Œ€๋ถ€๋ถ„์˜ ์–ด๋‘์šด ์ฝ˜ํ…์ธ ์— ๋Œ€ํ•ด ๊ณ ํ’ˆ์งˆ ๋ฌธํ•™์  ์‚ฐ๋ฌธ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ํ‘œ์ค€ ๋ชจ๋ธ์ด ๊ฑฐ๋ถ€ํ•˜๋Š” ์ฝ˜ํ…์ธ ๊ฐ€ ํ•„์š”ํ•œ ํŠน์ • ์žฅ๋ฉด์„ ์œ„ํ•ด Hermes 3๋‚˜ Dolphin 3.0์œผ๋กœ ์ „ํ™˜ํ•˜์‹ญ์‹œ์˜ค. ๋™์ผํ•œ ํ”„๋กฌํ”„ํŠธ ํ…œํ”Œ๋ฆฟ์ด ๋‘ ๋ชจ๋ธ ๋ชจ๋‘์—์„œ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค; ์‚ฐ๋ฌธ ์Šคํƒ€์ผ์€ ์žฅ๋ฉด๋ณ„ ํ˜ผํ•ฉ์ด ์ถœ๋ ฅ์—์„œ ๊ฐ์ง€๋˜์ง€ ์•Š์„ ๋งŒํผ ์ถฉ๋ถ„ํžˆ ์ผ๊ด€๋ฉ๋‹ˆ๋‹ค.

๋ฌด๊ฒ€์—ด ๋ชจ๋ธ๋กœ ์ฝ˜ํ…์ธ  ์ƒ์„ฑ์ด ์ €์ž‘๊ถŒ์— ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๊นŒ?

์•„๋‹ˆ์š” โ€” AI ์ƒ์„ฑ ์ฝ˜ํ…์ธ ์˜ ์ €์ž‘๊ถŒ ์ƒํ™ฉ์€ ๋ชจ๋ธ์ด ๊ฒ€์—ด๋˜์—ˆ๋Š”์ง€ ๋ฌด๊ฒ€์—ด์ธ์ง€์™€ ๊ด€๊ณ„์—†์ด ๋™์ผํ•ฉ๋‹ˆ๋‹ค. AI ์ถœ๋ ฅ์— ๋Œ€ํ•œ ์ €์ž‘๊ถŒ๋ฒ•์€ 2026๋…„ ๊ธฐ์ค€์œผ๋กœ ๋Œ€๋ถ€๋ถ„์˜ ๊ด€ํ• ๊ถŒ์—์„œ ๋ถˆํ™•์‹คํ•ฉ๋‹ˆ๋‹ค; ์ผ๋ฐ˜์ ์ธ ์ž…์žฅ์€ ์ธ๊ฐ„ ์ €์ž‘ ์š”์†Œ(ํ”„๋กฌํ”„ํŠธ ์„ค๊ณ„, ์„ ํƒ, ๋ฐฐ์น˜, ์‹ค์งˆ์  ํŽธ์ง‘)๊ฐ€ ๋ณดํ˜ธ๋  ์ˆ˜ ์žˆ๋Š” ๋ฐ˜๋ฉด, ์›์‹œ AI ์ถœ๋ ฅ์€ ๊ทธ๋ ‡์ง€ ์•Š๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ฌด๊ฒ€์—ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ด๋„ ์ด ๋ถ„์„์ด ๋ฐ”๋€Œ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๋ฌด๊ฒ€์—ด ํŒŒ์ธํŠœ๋‹์ด ์ผ๋ฐ˜ ์ง€์‹์„ ์žƒ์Šต๋‹ˆ๊นŒ?

ํŠน์ • ์˜์—ญ์—์„œ๋Š” ๋ฏธ๋ฏธํ•˜๊ฒŒ. ๋ฌด๊ฒ€์—ดํ™” ํŒŒ์ธํŠœ๋‹์€ ์ผ๋ฐ˜์ ์œผ๋กœ ์‚ฌ์‹ค ๊ฒ€์ƒ‰, ์ˆ˜ํ•™, ์ฝ”๋”ฉ ๋ฒค์น˜๋งˆํฌ์—์„œ ๊ธฐ๋ณธ ๋ชจ๋ธ์—์„œ ์•ฝ๊ฐ„ ์ดํƒˆํ•  ์ˆ˜ ์žˆ๋Š” ์ „์ฒด ์ •๋ฐ€๋„ ์žฌํ›ˆ๋ จ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค โ€” ์ผ๋ฐ˜์ ์œผ๋กœ ํ‘œ์ค€ ๋ฒค์น˜๋งˆํฌ์—์„œ 1โ€“3 ํผ์„ผํŠธ ํฌ์ธํŠธ. ํ”ฝ์…˜ ๊ธ€์“ฐ๊ธฐ ์ž‘์—…์˜ ๊ฒฝ์šฐ ์ถœ๋ ฅ ํ’ˆ์งˆ์—์„œ ๊ฐ์ง€ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ํ”ฝ์…˜๊ณผ ๊ธฐ์ˆ  ์ž‘์—…(์—ฐ๊ตฌ ๋…ธํŠธ, ์ฝ”๋“œ ๊ฒ€ํ† ) ๋ชจ๋‘์— ๊ฐ™์€ ๋ชจ๋ธ์ด ํ•„์š”ํ•œ ๊ฒฝ์šฐ, ํ‘œ์ค€ ๋ฒ„์ „๊ณผ ๋ฌด๊ฒ€์—ด ๋ฒ„์ „์„ ๋ชจ๋‘ ์„ค์น˜ํ•˜๊ณ  ์ž‘์—…์— ๋”ฐ๋ผ ์ „ํ™˜ํ•˜์‹ญ์‹œ์˜ค. Hermes 3๋Š” ์™„์ „ํžˆ ์ œ๊ฑฐ๋œ ๋ชจ๋ธ๋ณด๋‹ค ์ผ๋ฐ˜์ ์ธ ๋Šฅ๋ ฅ์„ ๋” ์ž˜ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

์ด ๋ชจ๋ธ๋“ค์€ ๋ชจ๋‹ˆํ„ฐ๋ง๋˜๊ฑฐ๋‚˜ ์ต๋ช…์ž…๋‹ˆ๊นŒ?

Ollama๋‚˜ LM Studio๋ฅผ ํ†ตํ•ด ๋กœ์ปฌ์—์„œ ์‹คํ–‰๋˜๋Š” ์˜คํ”ˆ ์›จ์ดํŠธ ๋ชจ๋ธ์—๋Š” ํ…”๋ ˆ๋ฉ”ํŠธ๋ฆฌ๊ฐ€ ์—†๊ณ , ์›๊ฒฉ ๋กœ๊ทธ๊ฐ€ ์—†์œผ๋ฉฐ, ์‚ฌ์šฉ๋Ÿ‰ ์ถ”์ ์ด ์—†์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ ์ €์ž(Hermes 3์šฉ Nous Research, Dolphin์šฉ Cognitive Computations)๋Š” ์ƒ์„ฑํ•˜๋Š” ๊ฒƒ์„ ๋ณผ ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค โ€” ์ถ”๋ก  ์ค‘ ์„œ๋ฒ„๋กœ์˜ ์ฝœ๋ฐฑ์ด ์—†์Šต๋‹ˆ๋‹ค. ์œ ์ผํ•œ ํ…”๋ ˆ๋ฉ”ํŠธ๋ฆฌ ์œ„ํ—˜์€ ํ”„๋ก ํŠธ์—”๋“œ(SillyTavern, Agnai โ€” ๋‘˜ ๋‹ค ๊ธฐ๋ณธ์ ์œผ๋กœ ํ…”๋ ˆ๋ฉ”ํŠธ๋ฆฌ ์—†์Œ)๋‚˜ ์šด์˜ ์ฒด์ œ์—์„œ ์˜ต๋‹ˆ๋‹ค. ์„ค์น˜ ํ›„ ํ•œ ๋ฒˆ ๋„คํŠธ์›Œํฌ ๋ชจ๋‹ˆํ„ฐ(macOS์—์„œ Little Snitch, Linux์—์„œ Wireshark)๋ฅผ ์‹คํ–‰ํ•˜์—ฌ ํ™•์ธํ•˜์‹ญ์‹œ์˜ค.

โ† ๊ณ ๊ธ‰ ๋กœ์ปฌ LLM์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ ๋ฌด๊ฒ€์—ด ๋กœ์ปฌ LLM 2026 | PromptQuorum