Key Takeaways
- Mac mini M4 Pro(64GB): $2,299. ๋ฌด์์, ์ํ, 70B๋ฅผ ์ด๋น 10~15 ํ ํฐ์ผ๋ก ์ฒ๋ฆฌ. 70B๋ฅผ ์ง์ํ๋ ๊ฐ์ฅ ์ํ์ ๋ฏธ๋ PC.
- Framework Desktop(128GB): $1,999. ์ด๋น 20 ํ ํฐ ์ด์์ผ๋ก 70B๋ฅผ ์ฒ๋ฆฌํ๋ ๊ฐ์ฅ ๋น ๋ฅธ ๋ฏธ๋ PC. ๋ก์ปฌ LLM ์ ์ฉ ์ค๊ณ.
- ASUS PN51 + RTX 5060 Ti: $900. ๊ธฐ์กด x86 ํ๋ซํผ ์ค ์ต๊ณ ๊ฐ์ฑ๋น. 7B๋ฅผ ์ด๋น 25 ํ ํฐ, 13B๋ฅผ ์ด๋น 15 ํ ํฐ์ผ๋ก ์ฒ๋ฆฌ.
- Intel NUC 13 + eGPU: $1,300. ํ๋ฆฌ๋ฏธ์ ๋น๋ ํ์ง, Thunderbolt eGPU ์ฌ์ฉ ์ ๋์ญํญ 15~25% ์์ค.
- ์ปค์คํ mini-ITX(Lian Li A4): $1,000~$1,400. ๊ฐ์ฅ ์ ์ฐํ์ง๋ง ์กฐ๋ฆฝ์ด ๊ฐ์ฅ ๊น๋ค๋ก์.
- ์ฃผ์: ํตํฉ GPU๋ง ํ์ฌ๋ ๋ฏธ๋ PC(7B ๊ธฐ์ค ์ด๋น 1~2 ํ ํฐ), ์ ์ฒด ATX PSU ์ผ์ด์ค(๋ฏธ๋ PC์ ๋ฏธ์ฅ์ฐฉ), RTX 4090(๋ชจ๋ SFF ์ผ์ด์ค์ ์ฅ์ฐฉ ๋ถ๊ฐ)์ ํผํ์๊ธฐ ๋ฐ๋๋๋ค.
๋ก์ปฌ LLM์ ์ ํฉํ ๋ฏธ๋ PC์ ์กฐ๊ฑด
์ค์ฉ์ ์ธ ๋ฏธ๋ PC๋ PCIe x16 ์ฌ๋กฏ, 450W ์ด์์ PSU, ์กํฐ๋ธ ์ฟจ๋ง, 1TB ์ด์์ SSD๊ฐ ํ์ํฉ๋๋ค. ๋๋ถ๋ถ์ ์๋น์์ฉ ๋ฏธ๋ PC๋ ๋ ๋ฆฝํ GPU ์ฌ๋กฏ ์์ฒด๊ฐ ์์ผ๋ฏ๋ก, ๊ตฌ๋งค ์ ๋ฐ๋์ ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค.
- PCIe x16 ์ฌ๋กฏ(ํ ๊ธธ์ด): ๋ ๋ฆฝํ GPU ์ฅ์ฐฉ์ ํ์ํฉ๋๋ค. ์ผ๋ถ ๋ฏธ๋ PC๋ USB-C ์ธ์ฅ ๋ ์ ์ฌ์ฉํ๋๋ฐ, eGPU๋ ๋ด์ฅ PCIe ๋๋น ๋์ญํญ์ด 15~25% ๊ฐ์ํฉ๋๋ค.
- ์ ๋ ฅ ์์ฐ: ์ต์ 450W SFX PSU๊ฐ ํ์ํฉ๋๋ค. RTX 5060 Ti(165W) + CPU(65W) + ๋ณด๋(50W) = 280W ๋ถํ, ์๊ฐ ํผํฌ๋ 420W ์ด์์ผ๋ก ๊ธ๋ฑํฉ๋๋ค.
- ์ฟจ๋ง: ์กํฐ๋ธ ์ผ์ด์ค ํฌ์ด ํ์์ ๋๋ค. ํจ์๋ธ ์ฟจ๋ง์ 3B ์ ํด ์์๋ ์๋ํ์ง๋ง, 7B ์ง์ ์ถ๋ก ์๋ ๊ฐ์ ํ๊ธฐ๊ฐ ํ์ํฉ๋๋ค.
- ์คํ ๋ฆฌ์ง: ์ต์ 1TB SSD๊ฐ ํ์ํฉ๋๋ค. Q4_K_M๋ก ์์ํ๋ 7B ๋ชจ๋ธ์ ๋์คํฌ์ ์ฝ 4GB๋ฅผ ์ฐจ์งํ๋ฉฐ, 5๊ฐ ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ 25GB๋ฅผ ์ฑ์๋๋ค.
Mac Mini M4 Pro: Apple Silicon ์ต์
64GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ์ฌํ Mac mini M4 Pro๋ $2,299์ Llama 3.3 70B๋ฅผ ์ด๋น 10~15 ํ ํฐ์ผ๋ก ๊ตฌ๋ํฉ๋๋ค โ 2026๋ 4์ ๊ธฐ์ค 70B๋ฅผ ์ง์ํ๋ ๊ฐ์ฅ ์ํ์ ๋ฏธ๋ PC์ ๋๋ค. ํตํฉ ๋ฉ๋ชจ๋ฆฌ ์ํคํ ์ฒ ๋๋ถ์ 64GB ์ ์ฒด๋ฅผ CPU์ GPU(Metal) ๋ชจ๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. VRAM ์ ์ฝ์ด ์๊ณ PCIe ๋ณ๋ชฉ๋ ์์ต๋๋ค. Apple Silicon ๋ด๋ด ์์ง์ LLM ์ถ๋ก ์ ์ฌ์ฉ๋์ง ์์ผ๋ฉฐ, Metal GPU๊ฐ ๋ชจ๋ ์์ ์ ์ฒ๋ฆฌํฉ๋๋ค.
- ์ฅ์ : ๋ฌด์์(์ถ๋ก ์ค ํฌ ์์ ์์), 5.1ร5.1ร1.5์ธ์น ํฌ๊ธฐ, 30W ์ ๋ ฅ ์๋น, macOS + Asahi๋ฅผ ํตํ Linux ์ง์, Ollama Metal GPU ๊ฐ์์ด ์ฆ์ ์๋ํฉ๋๋ค.
- ๋จ์ : RAM ์ ๊ทธ๋ ์ด๋ ๋ถ๊ฐ. M4 Pro Max๋ ๋ฏธ๋ ํผ ํฉํฐ๋ก ์ถ์๋์ง ์์(Mac Studio ์ ์ฉ). 70B๋ฅผ ์ด๋น 10~15 ํ ํฐ์ผ๋ก ์ฒ๋ฆฌํ๋ ์๋๋ RTX 4090(์ด๋น 60~80 ํ ํฐ)๋ณด๋ค ๋๋ฆฌ์ง๋ง, ๋์ด 1.5์ธ์น ์ผ์ด์ค์ ์ฅ์ฐฉ๋ฉ๋๋ค.
- ๋ช ๋ น์ด: `ollama run llama3.3:70b-instruct-q4_K_M` โ Apple Silicon์์ Metal์ ํตํด ๊ธฐ๋ณธ์ผ๋ก ์๋ํฉ๋๋ค.
- **M5 Pro ๋ฐ M5 Max ์ค์ฌ ๋น๊ต(Mac Studio, MacBook Pro)๋ Apple Silicon M5 ๋ก์ปฌ LLM ๊ฐ์ด๋ โ๋ฅผ ์ฐธ์กฐํ์๊ธฐ ๋ฐ๋๋๋ค.**
| Mac mini ๊ตฌ์ฑ | 7B Q4 tok/s | 70B Q4 tok/s | ๊ฐ๊ฒฉ |
|---|---|---|---|
| M4 (16 GB) | 40โ50 | ์ฅ์ฐฉ ๋ถ๊ฐ | $599 |
| M4 Pro (24 GB) | 50โ65 | ์ฅ์ฐฉ ๋ถ๊ฐ | $1,399 |
| M4 Pro (48 GB) | 55โ70 | 7โ10 | $1,999 |
| M4 Pro (64 GB) | 60โ80 | 10โ15 | $2,299 |
Framework Desktop: AMD Ryzen AI Max 395+
AMD Ryzen AI Max 395+์ 128GB ํตํฉ LPDDR5X ๋ฉ๋ชจ๋ฆฌ๋ฅผ ํ์ฌํ Framework Desktop์ $1,999์ Llama 3.3 70B๋ฅผ ์ด๋น 20 ํ ํฐ ์ด์์ผ๋ก ๊ตฌ๋ํฉ๋๋ค โ 2025๋ ๋ง ์ถ์๋์ด ๋ก์ปฌ LLM ์ํฌ๋ก๋ ์ ์ฉ์ผ๋ก ์ค๊ณ๋์์ต๋๋ค. Framework Desktop์ Strix Halo APU๋ฅผ ์ฌ์ฉํ๋ฉฐ, CPU์ ํตํฉ Radeon 8060S GPU ๋ชจ๋ 128GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ์ ์ ๊ทผํ ์ ์์ต๋๋ค. ์ฃผ๋ฅ PC ํ๋์จ์ด ์ต์ด๋ก ๋ก์ปฌ AI์ ํนํ๋์ด ๋ง์ผํ ๋ ์ ํ์ ๋๋ค.
- CPU: AMD Ryzen AI Max 395+ (16์ฝ์ด Zen 5)
- GPU: Radeon 8060S (40 RDNA 3.5 CU)
- ๋ฉ๋ชจ๋ฆฌ: 128 GB LPDDR5X ํตํฉ(๋ณ๋ VRAM ์์)
- ํผ ํฉํฐ: 4.5L mini-ITX ์คํ์ผ
- ์ ๋ ฅ: ์ง์ 120W, ํผํฌ 200W
- ์ฅ์ : 70B๋ฅผ ์ด๋น 20 ํ ํฐ ์ด์์ผ๋ก ์ฒ๋ฆฌํด ์ ์ฌํ ๊ฐ๊ฒฉ๋์ Mac mini M4 Pro๋ณด๋ค 1.5~2๋ฐฐ ๋น ๋ฆ ๋๋ค. ์์ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅ(๋ฉ์ธ๋ณด๋, ์คํ ๋ฆฌ์ง). Linux ์ฐ์ ์ค๊ณ. ์คํ ์์ค ํ์จ์ด.
- ๋จ์ : Ollama์ ROCm ์ค์ ํ์(Mac์ Metal์ฒ๋ผ ์ฆ์ ์ฌ์ฉ ๋ถ๊ฐ). ์ง์ ๋ถํ ์ ํฌ ์์ 40~50dB. 2025๋ ๋ง ์ถ์ โ ๋๋ผ์ด๋ฒ ์์ฑ๋๊ฐ ์์ง ๊ฐ์ ์ค์ ๋๋ค.
| ๋ชจ๋ธ | tok/s |
|---|---|
| Llama 3.3 8B Q4 | 45โ60 |
| Llama 3.3 70B Q4 | 20โ25 |
| DeepSeek-R1 70B Q4 | 18โ22 |
| Qwen3 72B Q4 | 22โ26 |
๊ฐ์ฑ๋น๊ฐ ๊ฐ์ฅ ๋ฐ์ด๋ ๋ฏธ๋ PC ํ๋ซํผ์?
Ryzen 5์ RTX 5060 Ti๋ฅผ ํ์ฌํ ASUS PN51์ด $900์ ๊ธฐ์กด x86 ์ต๊ณ ๊ฐ์ฑ๋น๋ฅผ ์ ๊ณตํฉ๋๋ค โ ํ ํ์์ ๋์ผํ LLM ์ฒ๋ฆฌ๋์ ์ ๋ฐ ๊ฐ๊ฒฉ์ ์คํํฉ๋๋ค.
- Intel NUC 13 Pro(Core i7): ์ํ, ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ 65W CPU. Thunderbolt 3 eGPU ๋ ์ผ๋ก GPU ์ฐ๊ฒฐ. $600(๋ณธ์ฒด) + $450(RTX 5060 Ti) + $250(๋ ) = $1,300. ์ต๊ณ ๋น๋ ํ์ง.
- ASUS PN51 ๋๋ PN52(mini-ITX ๋ฒ ์ด๋ณธ): Ryzen 5($150) + 32GB RAM($80) + 1TB SSD($70) + RTX 5060 Ti($450) = $900. ์ต๊ณ ๊ฐ์ฑ๋น.
- Giada F350 ๋๋ Zotac ZBOX Sphere(์์ ํ): ํตํฉ GPU ์ ์ฉ. CPU ์๋๋ก 3B~7B์ ์ ํฉ. ๋ ๋ฆฝํ GPU ์ถ๋ก ์๋ ๋น์ถ์ฒ.
- ์ปค์คํ mini-ITX ๋น๋(Lian Li A4, Dan A4-H2O): ๊ฐ์ฅ ์ ์ฐํ์ง๋ง ์กฐ๋ฆฝ์ด ๊ฐ์ฅ ๊น๋ค๋ก์. GPU ์ ํ์ ๋ฐ๋ผ $1,000~$1,400.
๋ฏธ๋ PC ์ผ์ด์ค์ ๋ง๋ GPU๋?
RTX 5060 Ti 16GB๊ฐ 2025๋ ๋ง mini-ITX์ ์ต์ ์ ํ์ผ๋ก ์๋ฆฌ ์ก์์ต๋๋ค โ 217mm๋ก ๋ชจ๋ ์ผ์ด์ค์ ์ฅ์ฐฉ ๊ฐ๋ฅํ๋ฉฐ, VRAM ์ฌ์ ๋ฅผ ๋๊ณ Q4๋ก 13B๋ฅผ ๊ตฌ๋ํ๋ฉฐ, $500 ๋ฏธ๋ง์ ๋๋ค. RTX 5070์ ๋๋ถ๋ถ์ ์ผ์ด์ค์ ์ฅ์ฐฉ ๊ฐ๋ฅํ์ง๋ง ํฌ๊ธฐ๋ฅผ ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค โ ์ผ๋ถ ์ ํ์ 220mm๋ฅผ ์ด๊ณผํฉ๋๋ค.
| GPU | VRAM | ์ต๋ ๋ชจ๋ธ | Mini-ITX ์ฅ์ฐฉ | ๊ฐ๊ฒฉ(2026) |
|---|---|---|---|---|
| RTX 5060 Ti | 16 GB | 13B Q4 | ๊ฐ๋ฅ(217mm) | $450โ500 |
| RTX 5070 | 12 GB | 13B Q4 | ์ ํ๋ณ ํ์ธ(225mm) | $550โ650 |
| RTX 4060 Ti | 8 GB | 7B Q4 | ๊ฐ๋ฅ(216mm) | $280โ320 |
| RTX 4070 | 12 GB | 13B Q4 | ์ ํ๋ณ ํ์ธ(220mm ์ ํ) | $400โ500 |
| RTX A4000 | 16 GB | 13B(์ฌ์ ์์) | ์ ํ๋ณ ํ์ธ | $250โ350(์ค๊ณ ) |
์ํ ๋ฏธ๋ PC ์ผ์ด์ค์์ ์ฟจ๋ง์ ์ด๋ป๊ฒ ๊ด๋ฆฌํฉ๋๊น?
LLM ์ถ๋ก ํ ๋ถํ ์ GPU ์จ๋ 60~70ยฐC, ํฌ ์์ 50~60dB๋ฅผ ์์ํ์๊ธฐ ๋ฐ๋๋๋ค. ์ธ๋๋ณผํ ์ ์๋ ์์ค ์์ด ์จ๋๋ฅผ 5~10ยฐC ๋ฎ์ถฅ๋๋ค.
- ์ด ํน์ฑ: ์ง์ ์ถ๋ก ์ GPU 60~70ยฐC, CPU 55~65ยฐC. ์ํํ ์์ค์ ์๋์ง๋ง ํฌ์ด ๊ฐ๋๋ฉ๋๋ค.
- ์์: RTX 5060 Ti ํ ๋ถํ ์ 50~60dB(์ง๊ณต์ฒญ์๊ธฐ ์์ค). ์ฌ๋ฌด์ค ํ๊ฒฝ์์๋ ํ์ฉ ๊ฐ๋ฅํ๋ ์กฐ์ฉํ ๊ณต๊ฐ์์๋ ๋ถํธํฉ๋๋ค.
- ์ธ๋๋ณผํ : MSI Afterburner(Windows) ๋๋ CoreCtrl(Linux)๋ก ์ฝ์ด ์ ์์ 50mV ๋ฎ์ถฅ๋๋ค. ์จ๋ 5~10ยฐC ๊ฐ์, ์๋ ์์ค 0~2%.
- ์ ์ ์ด์ฉ: GPU ํฌ์ Noctua ๋๋ BeQuiet! ์ ํ($50~80)์ผ๋ก ๊ต์ฒดํฉ๋๋ค. ์์ 10~15dB ๊ฐ์.
๋ก์ปฌ LLM์์ ๋ฏธ๋ PC์ ํ๊ณ๋?
๊ธฐ์กด mini-ITX ๋น๋๋ 13B ๋ชจ๋ธ(VRAM 12~16GB)์ด ์ํ์ ์ ๋๋ค. Apple Silicon๊ณผ AMD Ryzen AI Max ์ต์ ์ ์ต๋ 128GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ก ์ด ์ ์ฝ์ ํด์ํฉ๋๋ค.
- ๊ธฐ์กด mini-ITX ์ต๋ VRAM: 8~16GB(๋ ๋ฆฝํ GPU 1๊ฐ๋ง ์ฅ์ฐฉ). RTX 4090(๋์ผ ์ฌ๋กฏ, 280mm ์ด์) ์ฅ์ฐฉ ๋ถ๊ฐ.
- ์ต๋ ๋ชจ๋ธ ํฌ๊ธฐ(๊ธฐ์กด): 13B๊ฐ ํ๊ณ. 70B๋ CPU ์คํ๋ก๋ฉ์ด ํ์ํ๋ฉฐ ์๋๊ฐ 3~5๋ฐฐ ์ ํ๋ฉ๋๋ค.
- ์ ๊ทธ๋ ์ด๋ ๊ฒฝ๋ก: ์ ํ์ . GPU ๊ต์ฒด ์ ์ผ์ด์ค ์์ ์ด ํ์ํ ์ ์์ต๋๋ค. RAM์ ๋๋ถ๋ถ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅ.
- ๋ฉํฐ GPU: mini-ITX์์๋ ๋ถ๊ฐ๋ฅ. ๋ ๋ฒ์งธ ๋ ๋ฆฝํ ์นด๋๋ฅผ ์ํ ๊ณต๊ฐ์ด ์์ต๋๋ค.
- ์๋ช : ๋ฏธ๋ PC ์ผ์ด์ค๋ ์ฌ๋ฌด์ฉ ์ํฌ๋ก๋์ฉ์ผ๋ก ์ค๊ณ๋์ด 24์๊ฐ ์ฐ์ ์ถ๋ก ์๋ ์ต์ ํ๋์ง ์์์ต๋๋ค. ํํฐ๋ฅผ ์ฐ 1ํ ์ฒญ์ํ์๊ธฐ ๋ฐ๋๋๋ค.
- ๋ฏธ๋ PC ํ๋์จ์ด๋ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ์ ํํ์ง๋ง, ๋ชจ๋ธ ํฌ๊ธฐ๋ง์ด ์ ์ผํ ํ๊ณ๋ ์๋๋๋ค. ๊ฐ์ฅ ํฐ ๋ชจ๋ธ๋ ํ๊ฐ, ์ถ๋ก ์คํจ, ์ง์ ๊ณต๋ฐฑ์ด๋ผ๋ ๊ทผ๋ณธ์ ์ธ ํ๊ณ๋ฅผ ์ง๋๋๋ค. LLM์ด ํ ์ ์๋ ๊ฒ์์ ์ ์ฒด ๋ด์ฉ์ ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค.
์ง์ญ๋ณ ๊ท์ ๋งฅ๋ฝ: ๋ฏธ๋ PC์ ๋ฐ์ดํฐ ์์ฃผ ์๊ฑด
๋ก์ปฌ LLM์ ๊ตฌ๋ํ๋ ๋ฏธ๋ PC๋ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ์จํ๋ ๋ฏธ์ค์ ๋ณด๊ดํฉ๋๋ค โ ๊ธฐ๋ณธ์ ์ผ๋ก ๋ฐ์ดํฐ๊ฐ ๊ธฐ๊ธฐ๋ฅผ ๋ฒ์ด๋์ง ์์ GDPR, APPI, ์ค๊ตญ DSL์ ๋ฐ์ดํฐ ์์ฃผ ์๊ฑด์ ์ถฉ์กฑํฉ๋๋ค.
- EU / GDPR: ๋ก์ปฌ ์ถ๋ก ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ๊ณ์ฝ(GDPR ์ 28์กฐ)์ ๋ถํ์ํ๊ฒ ํฉ๋๋ค. ๋ฒ๋ฅ , ์๋ฃ, ๊ธ์ต ๋ฑ ๋ฏผ๊ฐํ ์ ๋ฌธ ๋ฐ์ดํฐ๊ฐ SCC ๊ณ์ฝ ๋ถ๋ด ์์ด EU ๋ด์ ์ ์ง๋ฉ๋๋ค.
- ์ผ๋ณธ / APPI: ๊ฐ์ธ์ ๋ณด๋ณดํธ๋ฒ(APPI)์ ๊ตญ๊ฒฝ์ ๋๋ ๋ฐ์ดํฐ ์ด์ ์ ๋ช ์์ ๋์๋ฅผ ์๊ตฌํฉ๋๋ค. ๋ก์ปฌ ์ถ๋ก ์ ์ด ์๊ฑด์ ์์ ํ ํด์ํฉ๋๋ค.
- ์ค๊ตญ / ๋ฐ์ดํฐ๋ณด์๋ฒ: 2021๋ ๋ฐ์ดํฐ๋ณด์๋ฒ์ ํน์ ๋ฒ์ฃผ์ ๋ฐ์ดํฐ๋ฅผ ํด์ธ๋ก ๋ฐ์ถํ๋ ๊ฒ์ ์ ํํฉ๋๋ค. Qwen3๋ฅผ ๋ก์ปฌ์์ ๊ตฌ๋ํ๋ ๋ฏธ๋ PC๋ ํด๋ผ์ฐ๋ ๋ผ์ฐํ ์์ด ์ด ์๊ฑด์ ์ถฉ์กฑํฉ๋๋ค.
๋ก์ปฌ LLM ์ถ๋ก ์์ ๋ฏธ๋ PC ๊ตฌ๋งค ์ ํํ ์ค์
๊ฐ์ฅ ํํ ์ค์๋ ํตํฉ ๊ทธ๋ํฝ๋ง ํ์ฌ๋ ์๋น์์ฉ ๋ฏธ๋ PC๋ฅผ ๊ตฌ๋งคํ๋ ๊ฒ์ ๋๋ค โ ํตํฉ GPU๋ LLM ์ถ๋ก ์์ ๋ ๋ฆฝํ ์นด๋๋ณด๋ค 10๋ฐฐ ๋๋ฆฝ๋๋ค.
- 7B ์ถ๋ก ์ ์ํด ํตํฉ GPU๊ฐ ํ์ฌ๋ ์์ ํ ๋ฏธ๋ PC๋ฅผ ๊ตฌ๋งคํ๋ ๊ฒ. ํตํฉ GPU๋ ์ด๋น 1~2 ํ ํฐ์ธ ๋ฐ๋ฉด, RTX 5060 Ti๋ ์ด๋น 25 ํ ํฐ์ ์ฒ๋ฆฌํฉ๋๋ค.
- ์์ ํ ๋ ๋ฆฝํ GPU ์๋๋ฅผ ๊ธฐ๋ํ๋ฉฐ TB3 eGPU ๋ ์ ์ ํํ๋ ๊ฒ. eGPU๋ PCIe ๋์ญํญ์ด 15~25% ๊ฐ์ํ์ฌ 7B ๊ธฐ์ค ์ด๋น 15 ํ ํฐ ๋์ 12 ํ ํฐ์ ๊ธฐ๋ํด์ผ ํฉ๋๋ค.
- ์ด๋ค ๋ฏธ๋ PC ์ผ์ด์ค์๋ ํ์ฌ์ด์ฆ ATX PSU๊ฐ ๋ค์ด๊ฐ๋ค๊ณ ๊ฐ์ ํ๋ ๊ฒ. Mini-ITX๋ SFX ๋๋ TFX ํผ ํฉํฐ PSU๊ฐ ํ์ํฉ๋๋ค.
- RAM ์ฉ๋ ํ์ธ์ ๊ฑด๋๋ฐ๋ ๊ฒ โ ์ฌ์ RAM์ด 8GB์ ๋ถ๊ณผํ๋ฉด 7B ๋ชจ๋ธ ๋ก๋ฉ ์ ์ค์ ์ค๋ ์ฑ์ผ๋ก 5~10๋ฐฐ์ ์๋ ์ ํ๊ฐ ๋ฐ์ํฉ๋๋ค.
- GPU ๊ธธ์ด๋ฅผ ์ฃผ๋ฌธ ์ ์ธก์ ํ์ง ์๋ ๊ฒ โ RTX 5070 ์ ํ๊ตฐ์ ๊ธธ์ด๋ 210mm์์ 242mm๊น์ง ๋ค์ํฉ๋๋ค. ์ฌ์ฉ ์ค์ธ ์ผ์ด์ค์ ์ฌ๋กฏ ํ๊ณ๋ฅผ ๋ฐ๋์ ํ์ธํ์๊ธฐ ๋ฐ๋๋๋ค.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ: ๋ก์ปฌ LLM์ ์ํ ๋ฏธ๋ PC
๋ฏธ๋ PC์์ 13B ๋ชจ๋ธ์ ์ํํ๊ฒ ๊ตฌ๋ํ ์ ์์ต๋๊น?
RTX 5060 Ti(16GB) ๋๋ RTX 4070(12GB)์ ์ฌ์ฉํ์ฌ Q4 ์์ํ๋ก ๊ฐ๋ฅํฉ๋๋ค. RTX 4060 Ti(8GB)๋ 13B๋ฅผ ํธ์ํ๊ฒ ๊ตฌ๋ํ๊ธฐ์ ๋๋ฌด ๋น ๋ฏํฉ๋๋ค โ VRAM ์ฌ์ ๊ณต๊ฐ์ด 1GB ๋ฏธ๋ง์ผ๋ก ๋จ์ด์ง๋๋ค.
Intel NUC + ์ธ์ฅ RTX 5060 Ti eGPU ๋ ์ ๋ก์ปฌ LLM์ ์ ํฉํฉ๋๊น?
๋ค. TB3 eGPU๋ ๋์ญํญ์ด 15~20% ๊ฐ์ํ์ฌ 7B ๊ธฐ์ค ์ด๋น 15 ํ ํฐ ๋์ 12 ํ ํฐ์ ๊ธฐ๋ํด์ผ ํฉ๋๋ค. ๊ทธ๋ฌ๋ ์ฌ์ ํ ์ค์ฉ์ ์ด๋ฉฐ ํ ํ์๊ฐ ๋ถํ์ํ ์ํ ๊ณต๊ฐ์ ์ ํฉํฉ๋๋ค.
๋ฏธ๋ PC๋ก LLM์ ๊ตฌ๋ํ ๋ ์์์ ์ผ๋ง๋ ํฝ๋๊น?
RTX 5060 Ti ํ ๋ถํ ์ 50~60dB์ ๋ฌํฉ๋๋ค. ์ธ๋๋ณผํ ์ด๋ GPU ํฌ์ Noctua ์ ํ์ผ๋ก ๊ต์ฒดํ๋ฉด ์์์ด 40~45dB๋ก ๋ฎ์์ ธ ๋๋ถ๋ถ์ ์ฌ๋ฌด์ค ํ๊ฒฝ์์ ํ์ฉ ๊ฐ๋ฅํฉ๋๋ค.
๋ฏธ๋ PC์ RTX 4090์ ์ฅ์ฐฉํ ์ ์์ต๋๊น?
๋ถ๊ฐ๋ฅํฉ๋๋ค. RTX 4090์ ๋์ผ ์ฌ๋กฏ์ด๋ฉฐ ๊ธธ์ด๊ฐ 280mm ์ด์์ ๋๋ค. ์ปค์คํ SFF ์ผ์ด์ค(Lian Li A4, Dan A4-H2O)์ GPU ์ต๋ ๊ธธ์ด๋ 220mm์ ๋๋ค.
๋ฏธ๋ PC๊ฐ ๋ก์ปฌ LLM์์ ๋ ธํธ๋ถ๋ณด๋ค ๋ ๋ซ์ต๋๊น?
๊ณ ์ ์ค์น ํ๊ฒฝ์์๋ ๊ทธ๋ ์ต๋๋ค. ๋ฏธ๋ PC๋ ๋ ๋์ ์ด ํน์ฑ(์ง์ 60~70ยฐC)๊ณผ ์์ ํ PCIe ๋์ญํญ์ ์ ๊ณตํฉ๋๋ค. ๋ ธํธ๋ถ์ ์ง์ ๋ถํ ์ ์ด๋น ์ฝ 10 ํ ํฐ์ผ๋ก ์ฑ๋ฅ์ด ์ ํ๋ฉ๋๋ค. ๋ฐ์คํฌ ์ฌ์ฉ ํ๊ฒฝ์์๋ ๋ฏธ๋ PC๊ฐ ์ฐ์ํฉ๋๋ค.
7B ์ถ๋ก ์ ์ํ ๋ฏธ๋ PC์ ์ด ๋น์ฉ์ ์ผ๋ง์ ๋๊น?
ASUS PN51 ๋น๋: $900. Intel NUC 13 + RTX 5060 Ti eGPU ๋ : $1,300. ๋ ์ ํ ๋ชจ๋ 7B๋ฅผ ์ด๋น 20~25 ํ ํฐ์ผ๋ก ์ฒ๋ฆฌํ๋ฉฐ, PN51์ด ๋ ๊ฐ์ฑ๋น๊ฐ ๋์ต๋๋ค.
LLM ๊ตฌ๋์ ์ํด ๋ฏธ๋ PC์ ์ ์ฉ ์ฟจ๋ง ์๋ฃจ์ ์ด ํ์ํฉ๋๊น?
์ง์ ์ถ๋ก ์๋ ํ์ํฉ๋๋ค. ๊ธฐ๋ณธ mini-ITX ์ผ์ด์ค ํฌ(1ร80mm)์ RTX 5060 Ti ํ ๋ถํ์ ๋ถ์กฑํฉ๋๋ค. 92mm ์ฌ์ด๋ ํฌ์ ์ถ๊ฐํ๊ฑฐ๋ GPU ํฌ์ Noctua ์ ํ($50~80)์ผ๋ก ๊ต์ฒดํ์๊ธฐ ๋ฐ๋๋๋ค.
๋ก์ปฌ LLM ์ถ๋ก ์ ๊ฐ์ฅ ์ ํฉํ ๋ฏธ๋ PC CPU๋?
ํ ํฐ ์์ฑ์์ CPU๋ GPU๋ณด๋ค ์ค์๋๊ฐ ๋ฎ์ต๋๋ค. Ryzen 7 7700X ๋๋ Intel Core i7-14700K๋ก ์ถฉ๋ถํฉ๋๋ค. 7B~13B ์ถ๋ก ์์๋ CPU ์๋๋ณด๋ค GPU VRAM ์์ฐ์ ์ฐ์ ์ํ์๊ธฐ ๋ฐ๋๋๋ค.
Mac mini M4 Pro์์ Llama 3.3 70B๋ฅผ ๊ตฌ๋ํ ์ ์์ต๋๊น?
๊ฐ๋ฅํฉ๋๋ค โ 64GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ($2,299)์ Llama 3.3 70B๋ฅผ Q4_K_M์ผ๋ก ์ด๋น 10~15 ํ ํฐ์ผ๋ก ๊ตฌ๋ํฉ๋๋ค. 48GB ์ ํ($1,999)๋ 70B๋ฅผ ์์ฉํ์ง๋ง ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋น ๋ฏํ์ฌ ์ด๋น 7~10 ํ ํฐ์ ๋๋ค. ์ํ ๊ตฌ์ฑ(16GB, 24GB)์ 70B๋ฅผ ์์ฉํ ์ ์์ต๋๋ค. $2,500 ์ดํ Apple Silicon์์ 70B๋ฅผ ๊ตฌ๋ํ๋ ค๋ฉด M4 Pro 64GB๊ฐ ์ ์ผํ ๋ฏธ๋ PC ์ต์ ์ด๋ฉฐ, ๋ ํฐ M4 Max ๊ตฌ์ฑ์ Mac Studio๊ฐ ํ์ํฉ๋๋ค.
Framework Desktop์ด ๋ก์ปฌ LLM์์ Mac mini M4 Pro๋ณด๋ค ๋ซ์ต๋๊น?
์์ 70B ์๋ ์ธก๋ฉด์์๋ ๊ทธ๋ ์ต๋๋ค: Framework Desktop์ $1,999์ 70B๋ฅผ ์ด๋น 20 ํ ํฐ ์ด์์ผ๋ก ์ฒ๋ฆฌํ๋ ๋ฐ๋ฉด, Mac mini M4 Pro($2,299)๋ ์ด๋น 10~15 ํ ํฐ์ ๋๋ค. ์ค์ ํธ์์ฑ ๋ฉด์์๋ Mac mini๊ฐ ์ ๋ฆฌํฉ๋๋ค โ Ollama๊ฐ Metal๋ก ์ฆ์ ์๋ํฉ๋๋ค. Framework๋ ROCm ์ค์ ์ด ํ์ํฉ๋๋ค. ์๋์ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅ์ฑ์ ์ํ์ ๋ค๋ฉด Framework๋ฅผ, ์ ์ ์ด์ฉ๊ณผ ์ฆ์ ์ฌ์ฉ ๊ฐ๋ฅํ macOS ํ๊ฒฝ์ ์ํ์ ๋ค๋ฉด Mac mini๋ฅผ ์ ํํ์๊ธฐ ๋ฐ๋๋๋ค.