ํต์ฌ ์์
- ๊ฒฐ์ ์ ์ ์ฝ์ GPU ์ด๋ฆ์ด ์๋๋ผ ๋ฉ๋ชจ๋ฆฌ์ ๋๋ค. VRAM ๋๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ์ ๋ง์ง ์๋ ๋ชจ๋ธ์ ๋ก๋๋์ง ์๊ฑฐ๋ swap์ผ๋ก ๋์ณ ๋ํํ ์ฌ์ฉ์ ๋๋ฌด ๋๋ ค์ง๋๋ค. ๋ชฉํ ๋ชจ๋ธ์ ํ์ํ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๊ตฌ๋งคํ๊ณ , ๊ทธ ๋ค์์ ์๋๋ฅผ ์ต์ ํํ์ญ์์ค.
- ์ต๋ ํด๋์ฉ ๋ฉ๋ชจ๋ฆฌ: Apple MacBook Pro. Apple Silicon์ CPU์ GPU ์ฌ์ด์ ๋จ์ผ ํตํฉ ๋ฉ๋ชจ๋ฆฌ ํ์ ๊ณต์ ํ๋ฏ๋ก, ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ ๋๊ธ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ๋ณด๋ค ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํฉ๋๋ค โ ์ต๊ณ ์ ์๋์ง ํจ์จ์ฑ์ ์ ๊ณตํฉ๋๋ค.
- 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฆ: ๋์ VRAM์ NVIDIA ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ. RTX GPU๋ฅผ ํ์ฌํ Lenovo ThinkPad ์ํฌ์คํ ์ด์ ๋๋ ASUS ROG ๋ ธํธ๋ถ์ ์ ์์ ์ฐ๊ฒฐํ์ ๋ 7B~13B ๋ชจ๋ธ์ ๋ ๋น ๋ฅด๊ฒ ์คํํฉ๋๋ค. RTX 4060 (8GB) ๋ ธํธ๋ถ์ 7B ๋ชจ๋ธ์ ์ฝ 60~90 tok/s๋ก ์คํํ๋ฉฐ, RTX 4070 (12GB) ๋ ธํธ๋ถ์ 13B๋ฅผ ํธ์ํ๊ฒ ์ฒ๋ฆฌํฉ๋๋ค.
- ์๋ฆฌ ๊ฐ๋ฅํ ์ ํ์ง: Framework Laptop 16. ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM๊ณผ ์ ์ฅ์, ๋ชจ๋์ ์ค๊ณ๋ฅผ ๊ฐ์ถ๊ณ ์์ด ์ ์ฒด ๊ธฐ๊ธฐ๋ฅผ ๊ต์ฒดํ๋ ๋์ ๋์ค์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋๋ฆด ์ ์์ต๋๋ค โ ์ฒซ ๋ฒ์งธ ๊ตฌ์ฑ์์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํ ์ํ์ ๋ํ ์์ถฉ์ฅ์น์ ๋๋ค.
- ๋ฉ๋ชจ๋ฆฌ ์ต์ ์๊ตฌ์ฌํญ: Q4_K_M์ผ๋ก 8GB๋ 7B ๋ชจ๋ธ์ ์คํํ๊ณ , 16GB๋ 13B๋ฅผ ํธ์ํ๊ฒ ์คํํ๋ฉฐ, ๋์ฉ๋ MacBook Pro ๊ตฌ์ฑ์ ํจ์ฌ ๋ ํฐ ๋ชจ๋ธ์ ๋๋ฌํฉ๋๋ค. ์ด์์ฒด์ ๋ฅผ ์ํด ํญ์ 2~4GB์ ์ฌ์ ๋ฅผ ๋จ๊ฒจ ๋์ญ์์ค.
- ๋ฐ์คํฌํฑ๊ณผ์ ์๋ ์ฐจ์ด๋ฅผ ์์ํ์ญ์์ค. ๋ ธํธ๋ถ์ ์ด ์ ํ์ด ์ง์์ ์ธ ๋ถํ ํ์์ ํด๋ก ์ฃผํ์๋ฅผ ๋ฎ๊ฒ ์ ์งํ๊ธฐ ๋๋ฌธ์ ๋์ผํ ์นฉ์ด ํ์ฌ๋ ๋ฐ์คํฌํฑ๋ณด๋ค ์ฝ 20~30% ๋๋ฆฌ๊ฒ ๋์ํฉ๋๋ค.
- Windows์์๋ ๋ฐฐํฐ๋ฆฌ๊ฐ ๋ชจ๋ ๊ฒ์ ๋ฐ๊ฟ๋๋ค. ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ผ๋ฐ์ ์ผ๋ก ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ์ธ์ฅ GPU๋ฅผ ๋นํ์ฑํํ๊ฑฐ๋ ์ ํํ์ฌ ์ถ๋ก ์๋๋ฅผ ๋งค์ฐ ๋ฎ์ถฅ๋๋ค โ ์ ์์ ์ฐ๊ฒฐํ์ฌ ์ฌ์ฉํ๋๋ก ๊ณํํ์ญ์์ค. Apple Silicon์ ๋ฐฐํฐ๋ฆฌ๋ก๋ ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ ํจ์ฌ ๋ ํจ์จ์ ์ ๋๋ค.
- ๊ฐ๊ฒฉ์ 2026๋ 5์ ๊ธฐ์ค ์ค๋ ์ท์ ๋๋ค. ๋ ธํธ๋ถ ๊ฐ๊ฒฉ์ ๋ชจ๋ธ ์ ๋ฐ์ดํธ ์ฌ์ดํด๊ณผ ํ๋ก๋ชจ์ ์ ๋ฐ๋ผ ๋ณ๋ํฉ๋๋ค โ ๊ฐ ์์น๋ฅผ ๋ฒ์๋ก ์ทจ๊ธํ๊ณ ๊ตฌ๋งค ์ ์ ์ค์๊ฐ ๊ฐ๊ฒฉ์ ํ์ธํ์ญ์์ค.
๋น ๋ฅธ ์ฌ์ค
- Apple MacBook Pro: CPU์ GPU๊ฐ ๊ณต์ ํ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ โ ๋์ฉ๋ ๊ตฌ์ฑ์ ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ํด๋ ๊ฐ๋ฅํ๊ฒ ์์ฉํฉ๋๋ค.
- Lenovo ThinkPad / ์ํฌ์คํ ์ด์ : NVIDIA RTX GPU ์ต์ ์ ๊ฐ์ถ ๊ฒฌ๊ณ ํ ๋น๋ โ ์ ์ ์ฐ๊ฒฐ ์ 7B-13B ์ถ๋ก ์ ํ์ํฉ๋๋ค.
- ASUS ROG ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ: ๊ฒ์ด๋ฐ ์์ค์ ๋๊ฐ์ ๊ฐ์ถ ๋์ VRAM์ RTX GPU โ ์ ์ ์ฐ๊ฒฐ ์ 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฅธ ์ต์ ์ ๋๋ค.
- Framework Laptop 16: ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM๊ณผ ์ ์ฅ์๋ฅผ ๊ฐ์ถ ๋ชจ๋์ ์๋ฆฌ ๊ฐ๋ฅ ์ค๊ณ โ ๋์ค์ ๋๋ฆด ์ ์๋ ๋ฉ๋ชจ๋ฆฌ๋ก ๊ตฌ๋งคํ์ญ์์ค.
- Q4_K_M ๋ฉ๋ชจ๋ฆฌ ๊ท์น: 8GB๋ 7B ๋ชจ๋ธ ์คํ, 16GB๋ 13B ์คํ, ์ด์์ฒด์ ๋ฅผ ์ํด ํญ์ 2~4GB๋ฅผ ์ฌ์ ๋ก ๋จ๊ฒจ ๋์ญ์์ค.
- ์๋ ๊ธฐ์ค: 7B ๋ชจ๋ธ์ ๋ ธํธ๋ถ CPU์์ 10~25 tok/s, Apple Silicon์์ 30~80 tok/s, RTX 4060 ๋ ธํธ๋ถ GPU์์ 60~90 tok/s๋ก ์คํ๋ฉ๋๋ค.
- ๋ฐ์คํฌํฑ๊ณผ์ ์๋ ์ฐจ์ด: ์ด ์ค๋กํ๋ง์ผ๋ก ์ธํด ๋์ผํ ์นฉ์ด ํ์ฌ๋ ๋ฐ์คํฌํฑ๋ณด๋ค ๋ ธํธ๋ถ์์ ์ฝ 20~30% ๋๋ฆฐ ์ง์ ์๋๋ฅผ ์์ํ์ญ์์ค.
์๋ํฐ ์ ํ: ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ Apple MacBook Pro
๋ก์ปฌ LLM์ ์ ์คํํ๋ฉด์ ํด๋์ฑ์ ์ ์งํ๊ณ ์ ํ๋ ๋๋ถ๋ถ์ ๊ตฌ๋งค์์๊ฒ ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ Apple MacBook Pro๊ฐ ๊ท ํ ์กํ ์ ํ์ ๋๋ค. Apple Silicon์ CPU์ GPU ์ฌ์ด์ ๋จ์ผ ๋ฉ๋ชจ๋ฆฌ ํ์ ๊ณต์ ํ๋ฏ๋ก, ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ ๋์ผํ ๋ฉ๋ชจ๋ฆฌ๊ฐ VRAM๊ณผ ์์คํ RAM์ผ๋ก ๋ถ๋ฆฌ๋ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ๋ณด๋ค ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํฉ๋๋ค. ๋ํ ๋ฐฐํฐ๋ฆฌ๋ก๋ ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ ํจ์ฌ ๋ ํจ์จ์ ์ผ๋ก ๋์ํฉ๋๋ค โ MacBook Pro M ์๋ฆฌ์ฆ๋ 7B ์ถ๋ก ์ค ์ฝ 12~18W๋ฅผ ์๋นํ๋ ๋ฐ๋ฉด, Windows ๋ ธํธ๋ถ์ 25~45W๋ฅผ ์๋นํฉ๋๋ค. 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฅธ ์ถ๋ก ์ด ํ์ํ๊ณ ๋ ธํธ๋ถ์ ํญ์ ์ ์์ ์ฐ๊ฒฐํ ๊ฒ์ด๋ผ๋ฉด, ๋์ VRAM์ NVIDIA ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ด ๋ ๋น ๋ฆ ๋๋ค. ์๋ฆฌํ๊ณ ์ ๊ทธ๋ ์ด๋ํ ์ ์๋ ํ๋์จ์ด๋ฅผ ์ํ๋ค๋ฉด Framework Laptop 16์ ์ ํํ์ญ์์ค. MacBook Pro๋ ์์ฐ์ด ํ์ฉํ๋ ํ ์ต๋ํ ๋ง์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ก ๊ตฌ์ฑํ์ญ์์ค โ ๋ฉ๋ชจ๋ฆฌ๋ ๊ตฌ๋งค ํ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ๊ฐ๊ฒฉ์ ๋์ ๋ฒ์๋ฅผ ํฌ๊ดํ๋ฏ๋ก ๊ตฌ๋งค ์ ์ ํ์ฌ ๊ฐ๊ฒฉ์ ํ์ธํ์ญ์์ค.
๐Note: ์ด ์๋ํฐ ์ ํ์ ์๋๋ ์ฌ์ฉ ๋ชฉ์ ์ ๋ํ ์ ํฉ์ฑ๋ง์ ๋ฐ์ํฉ๋๋ค. PromptQuorum์ ์ด๋ค ์ ํด ํ๋ก๊ทธ๋จ์๋ ๋ฑ๋ก๋์ด ์์ง ์์ผ๋ฉฐ, ์๋ ๋งํฌ์๋ ์ ํด ํ๊ทธ๊ฐ ์์ต๋๋ค โ ์์๋ฃ๊ฐ ๋ฐ์ํ์ง ์๋ ๋จ์ ์ฐธ์กฐ ๋งํฌ์ ๋๋ค.
๋ก์ปฌ LLM์ ์ํ ๋ค ๊ฐ์ง ๋ ธํธ๋ถ ์ ํ๊ตฐ ๋น๊ต
์๋ ์์น๋ PromptQuorum์ ๋ ธํธ๋ถ ํ ์คํธ์์ ๋์จ ๊ฒ์ ๋๋ค โ 7B ๋ชจ๋ธ์ ๋ ธํธ๋ถ CPU์์ 10~25 tok/s, Apple Silicon์์ 30~80 tok/s, RTX 4060 ๋ ธํธ๋ถ GPU์์ 60~90 tok/s๋ก ์คํ๋ฉ๋๋ค. "์ต์ ์ฉ๋" ์ด์ ํน์ SKU๊ฐ ์๋ ๊ตฌ๋งค ์คํ์ผ์ ๋ฐ์ํฉ๋๋ค. ๊ฐ๊ฒฉ์ 2026๋ 5์ ๊ธฐ์ค ๋ฒ์๋ก ํ์๋ฉ๋๋ค โ ๋ ธํธ๋ถ ๊ฐ๊ฒฉ์ ๋ชจ๋ธ ์ฌ์ดํด๊ณผ ํ๋ก๋ชจ์ ์ ๋ฐ๋ผ ๋ณ๋ํ๋ฏ๋ก ๊ตฌ๋งค ์ ์ ํ์ธํ์ญ์์ค.
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ LLM์ด ํ์ฌ๋ ๋ ธํธ๋ถ์ ๊ฒฝ์ฐ, ๋ฉ๋ชจ๋ฆฌ ํ(Windows์ VRAM ๋๋ Apple Silicon์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ)์ด ์ด๋ค ๋ชจ๋ธ์ด ๋ค์ด๊ฐ ์ ์๋์ง๋ฅผ ๊ฒฐ์ ํ๊ณ , ๋๊ฐ ์์คํ ์ด ์ด ์ค๋กํ๋ง ์ ์ ์ผ๋ง๋ ๋น ๋ฅด๊ฒ ์คํ๋๋์ง๋ฅผ ๊ฒฐ์ ํฉ๋๋ค.
๐ฌ ์ฝ๊ฒ ๋งํ๋ฉด
๋ฉ๋ชจ๋ฆฌ๋ฅผ ์์ ๋ ํฌ๊ธฐ๋ก, ๋ชจ๋ธ์ ๊ทธ ์์ ํ๋ก์ ํธ๋ก ์๊ฐํ์ญ์์ค. ๋ ๋น ๋ฅธ ์นฉ์ ์์ ์ ๋ ๋นจ๋ฆฌ ๋ง์น์ง๋ง, ํ๋ก์ ํธ๊ฐ ์์ ๋์ ๋ง์ง ์์ผ๋ฉด ์๋๋ ์ค์ํ์ง ์์ต๋๋ค. ๋ ธํธ๋ถ์ ๋ฐ์คํฌํฑ๋ณด๋ค ๋๊ฐ ์์คํ ์ด ์์ ๊ธด ์์ ์์ ์๋๊ฐ ๋จ์ด์ง๋๋ค.
| ๋ ธํธ๋ถ ์ ํ๊ตฐ | ๋ฉ๋ชจ๋ฆฌ ๋ชจ๋ธ | 7B ์๋ (์ฌ์ฌ์ฉ ๋ฐ์ดํฐ) | ์ต์ ์ฉ๋ | ๊ฐ๊ฒฉ (2026๋ 5์) |
|---|---|---|---|---|
| Apple MacBook Pro | ํตํฉ ๋ฉ๋ชจ๋ฆฌ (CPU + GPU ๊ณต์ ) | Apple Silicon์์ 30-80 tok/s | ํด๋ ๊ฐ๋ฅํ ํํ๋ก ๋ ํฐ ๋ชจ๋ธ, ๋ ๋์ ๋ฐฐํฐ๋ฆฌ | ์ค๊ณ ๊ฐ~ํ๋ฆฌ๋ฏธ์, ํ์ฌ ๊ฐ๊ฒฉ ํ์ธ ํ์ |
| Lenovo ThinkPad / ์ํฌ์คํ ์ด์ | NVIDIA RTX VRAM + ์์คํ RAM | RTX 4060 GPU์์ 60-90 tok/s | ๊ฒฌ๊ณ ํ ๋น๋, ์ ์ ์ฐ๊ฒฐ ์ 7B-13B ์์ | ์ค๊ณ ๊ฐ~ํ๋ฆฌ๋ฏธ์, ํ์ฌ ๊ฐ๊ฒฉ ํ์ธ ํ์ |
| ASUS ROG ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ | NVIDIA RTX VRAM + ์์คํ RAM | RTX 4060 GPU์์ 60-90 tok/s | ์ ์ ์ฐ๊ฒฐ ์ 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฆ | ์ค๊ฐ ๊ฐ๊ฒฉ๋, ํ์ฌ ๊ฐ๊ฒฉ ํ์ธ ํ์ |
| Framework Laptop 16 | ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ ์์คํ RAM + GPU ๋ชจ๋ | ์ ์ ์ฐ๊ฒฐ ์ RTX ๋ ธํธ๋ถ๊ณผ ์ ์ฌ | ์๋ฆฌ ๊ฐ๋ฅ์ฑ, ๋์ค์ ๋ฉ๋ชจ๋ฆฌ ๋๋ฆฌ๊ธฐ | ์ค๊ฐ ๊ฐ๊ฒฉ๋, ํ์ฌ ๊ฐ๊ฒฉ ํ์ธ ํ์ |
์ด๋ค ๋ ธํธ๋ถ์ ๊ตฌ๋งคํด์ผ ํฉ๋๊น?
๊ตฌ๋งค ์คํ์ผ์ด ์ ํ๊ตฐ์ ๊ฒฐ์ ํ๊ณ , ๊ฐ์ฅ ํฐ ๋ชฉํ ๋ชจ๋ธ์ด ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ ๊ฒฐ์ ํฉ๋๋ค. ์์ ์ ์ํฉ์ ๋ง๋ ํ์ ์ฐพ์ผ์ญ์์ค.
| ์ํฉ | ์ด๊ฒ์ ๊ตฌ๋งคํ์ญ์์ค |
|---|---|
| ๋ฐฐํฐ๋ฆฌ ์ฑ๋ฅ์ด ๋ฐ์ด๋ ํด๋ ๊ฐ๋ฅํ ํผํฉํฐ์์ ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ์ํฉ๋๋ค | ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ Apple MacBook Pro |
| 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฅธ ์ถ๋ก ์ ์ํ๊ณ ํญ์ ์ ์์ ์ฐ๊ฒฐํ ๊ฒ์ ๋๋ค | ๋์ VRAM์ NVIDIA RTX GPU๋ฅผ ๊ฐ์ถ ASUS ROG ๋ ธํธ๋ถ |
| RTX GPU๋ฅผ ๊ฐ์ถ ์ ๋ฌธ๊ฐ๊ธ ๊ฒฌ๊ณ ํ ๋น๋๋ฅผ ์ํฉ๋๋ค | RTX GPU๋ฅผ ๊ฐ์ถ Lenovo ThinkPad ์ํฌ์คํ ์ด์ |
| ๋ ธํธ๋ถ์ ์ง์ ์๋ฆฌํ๊ณ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ ๊ทธ๋ ์ด๋ํ๊ณ ์ถ์ต๋๋ค | Framework Laptop 16 |
| ์ฃผ๋ก 7B ๋ชจ๋ธ์ ์คํํ๊ณ ๊ท ํ ์กํ ์ผ์ ๋ ธํธ๋ถ์ ์ํฉ๋๋ค | ์ค๊ฐ ์์ค์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ MacBook Pro |
| ๋ฌด์์ ์ ํํ ์ง ๋ชจ๋ฅด๊ณ ๊ฐ์ฅ ์์ ํ ์ฒซ ๋ฒ์งธ ๋ ธํธ๋ถ์ ์ํฉ๋๋ค | Apple MacBook Pro โ ๋ฉ๋ชจ๋ฆฌ, ํจ์จ์ฑ, ๋ฐฐํฐ๋ฆฌ์ ์ต๊ณ ๊ท ํ |
Apple MacBook Pro: ์ต๋ ํด๋์ฉ ๋ฉ๋ชจ๋ฆฌ
Apple MacBook Pro๋ Apple Silicon์ด CPU์ GPU ์ฌ์ด์ ๋จ์ผ ํตํฉ ๋ฉ๋ชจ๋ฆฌ ํ์ ๊ณต์ ํ๊ธฐ ๋๋ฌธ์ ํด๋ ๊ฐ๋ฅํ ํผํฉํฐ์์ ๊ฐ์ฅ ํฐ ๋ก์ปฌ LLM์ ์์ฉํ๋ ์ ํ์ง์ ๋๋ค. ์ฆ, ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ VRAM๊ณผ ์์คํ RAM์ผ๋ก ๋ณ๋๋ก ๋๋ ๋์ผํ ์ด ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ง ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ๋ณด๋ค ๋ ํฐ ๋ชจ๋ธ์ ์คํํฉ๋๋ค.
- ๊ตฌ๋งค ์ด์ : ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ ๋น๊ต ๊ฐ๋ฅํ VRAM ๋ถํ ๋ณด๋ค ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํ๊ณ , Apple Silicon์ ๋ฐฐํฐ๋ฆฌ๋ก๋ ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ ๊ฐ์ฅ ์๋์ง ํจ์จ์ ์ธ ์ต์ ์ ๋๋ค โ 7B ์ถ๋ก ์ค ์ฝ 12~18W ๋ Windows ๋ ธํธ๋ถ์ 25~45W.
- MacBook Pro๋ฅผ ์ ํํ๋ ๊ฒฝ์ฐ: ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ์ํ ๋ ธํธ๋ถ์ ์ํ๊ณ , ๋ฐฐํฐ๋ฆฌ ์๋ช ์ ์ค์ํ๋ฉฐ, ์ถ๋ก ์คํ์ ์ํด ์ ์์ ์ฐ๊ฒฐํ ํ์๊ฐ ์๋ ์กฐ์ฉํ ๊ธฐ๊ธฐ๋ฅผ ์ ํธํ๋ ๊ฒฝ์ฐ.
- ์ฌ์ฌ์ฉ๋ ์๋ ๋ฐ์ดํฐ: 7B ๋ชจ๋ธ์ ์นฉ ์์ค๊ณผ ๋ฉ๋ชจ๋ฆฌ์ ๋ฐ๋ผ Apple Silicon์์ 30~80 tok/s๋ก ์คํ๋ฉ๋๋ค; ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ 13B ๋ชจ๋ธ์ ๋น ๋ฅธ ๋ฉ๋ชจ๋ฆฌ์ ์์ ํ ์์ฉํฉ๋๋ค.
- ์ ์คํ๊ฒ ๊ตฌ์ฑํ์ญ์์ค: ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ ๊ตฌ๋งค ํ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ์์ฐ์ด ํ์ฉํ๋ ํ ์ต๋ํ ๋ง์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ตฌ๋งคํ์ญ์์ค โ ์ด๊ฒ์ด ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ์๊ตฌ์ ์ผ๋ก ๊ฒฐ์ ํ๋ ์ฌ์์ ๋๋ค.
- ์ ํํ์ง ์์์ผ ํ๋ ๊ฒฝ์ฐ: ์ ์ ์ฐ๊ฒฐ ์ 7B-13B์ ๊ฐ๋ฅํ ๊ฐ์ฅ ๋น ๋ฅธ ์ถ๋ก ์ ์ํด์๋ ๋์ VRAM์ NVIDIA ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ด ๋ ๋น ๋ฅด๋ฉฐ, MacBook Pro๋ ์ฌ์ฉ์๊ฐ ์๋ฆฌํ ์ ์์ต๋๋ค.
๐กTip: MacBook Pro์์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ ๋ณ๊ฒฝํ ์ ์๋ ์ ์ผํ ์ฌ์์ ๋๋ค. ์ ์ฅ์๋ณด๋ค ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ฐ์ ์ํ์ญ์์ค โ ์ธ์ฅ SSD๊ฐ ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ ์ฅํ ์ ์์ง๋ง, ์ด๋ค ์ธ๋ถ ๊ตฌ์ฑ ์์๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ถ๊ฐํ ์ ์์ต๋๋ค.
Lenovo ThinkPad ๋ฐ ์ํฌ์คํ ์ด์ ๋ ธํธ๋ถ: ๊ฒฌ๊ณ ํ NVIDIA ์ต์
NVIDIA RTX GPU๋ฅผ ํ์ฌํ Lenovo ThinkPad ๋ชจ๋ฐ์ผ ์ํฌ์คํ ์ด์ ์ ์ ๋ฌธ๊ฐ๊ธ ๊ฒฌ๊ณ ํ ๋น๋์์ NVIDIA ์ถ๋ก ์๋๋ฅผ ์ํ๋ ๊ตฌ๋งค์๋ฅผ ์ํ ์ ํ์ง์ ๋๋ค. ThinkPad ์ํฌ์คํ ์ด์ ๋ชจ๋ธ์ RTX GPU์ ๊ฒฌ๊ณ ํ ์์, ์ ์ง๋ณด์ํ๊ธฐ ์ฌ์ด ๋ด๋ถ ๊ตฌ์ฑ์ ๊ฒฐํฉํฉ๋๋ค.
- ๊ตฌ๋งค ์ด์ : NVIDIA RTX GPU๋ Ollama ๋ฐ LM Studio์ ํจ๊ป ๊ธฐ๋ณธ์ ์ผ๋ก CUDA ๊ฐ์ ์ถ๋ก ์ ์คํํ๋ฉฐ, ์ผ์์ ์ธ ์ฌ์ฉ์ ์ํด ์ค๊ณ๋ ์์์์ ๊ต์ฒด ๊ฐ๋ฅํ ๋ถํ์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
- ThinkPad ์ํฌ์คํ ์ด์ ์ ์ ํํ๋ ๊ฒฝ์ฐ: NVIDIA GPU ์๋๋ฅผ ์ํ๊ณ , ๊ฒฌ๊ณ ํ ๋น๋์ ์ข์ ํค๋ณด๋๋ฅผ ์ค์ํ๋ฉฐ, ๋ ธํธ๋ถ์ด ์ ๋ฌด์ฉ ๊ธฐ๊ธฐ๋ก๋ ์ฌ์ฉ๋๋ ๊ฒฝ์ฐ.
- ์ฌ์ฌ์ฉ๋ ์๋ ๋ฐ์ดํฐ: RTX 4060 (8GB) ๋ ธํธ๋ถ GPU๋ 7B ๋ชจ๋ธ์ ์ฝ 60~90 tok/s๋ก ์คํํฉ๋๋ค; RTX 4070 (12GB) ๋ ธํธ๋ถ์ 13B ๋ชจ๋ธ์ ํธ์ํ๊ฒ ์ฒ๋ฆฌํฉ๋๋ค. ์๋๋ ๋๊ธ ๋ฐ์คํฌํฑ GPU๋ณด๋ค ์ฝ 20~30% ๋ฎ์ต๋๋ค.
- ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํด ๊ตฌ์ฑํ์ญ์์ค: 13B๋ฅผ ์ํ ์ฌ์ ๋ฅผ ์ํ๋ค๋ฉด ์ต์ 16GB ์์คํ RAM๊ณผ 12GB VRAM GPU๋ฅผ ์ ํํ์ญ์์ค; GPU๋ ๋ฉ๋๋์ด ์์ผ๋ฏ๋ก ๊ตฌ๋งค ์ ์ฌ๋ฐ๋ฅธ VRAM์ ์ ํํ์ญ์์ค.
- ์ ํํ์ง ์์์ผ ํ๋ ๊ฒฝ์ฐ: ์ธ์ฅ GPU๋ ์ผ๋ฐ์ ์ผ๋ก ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ์ ํ๋๋ฏ๋ก ์ ์์ ์ฐ๊ฒฐํ์ฌ ์ฌ์ฉํ๋๋ก ๊ณํํ์ญ์์ค; ์์ํ ๊ฐ๊ฒฉ ๋๋น ์๋ ๋ฉด์์๋ ASUS ROG ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ด ๋ ์ ๋ ดํ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค.
๐Note: ๋ ธํธ๋ถ GPU๋ ๋ฉ์ธ๋ณด๋์ ๋ฉ๋๋์ด ์์ด ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ์คํํ ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ๋ง๊ฒ VRAM ์ฉ๋์ ์ ํํ์ญ์์ค โ 8GB GPU๋ 7B๋ฅผ ํธ์ํ๊ฒ ์์ฉํ๊ณ , 12GB GPU๋ 13B๋ฅผ ์ํ ๋ ์์ ํ ์ต์ ๊ธฐ์ค์ ๋๋ค.
ASUS ROG ๋ฐ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ: ์ ์ ์ฐ๊ฒฐ ์ 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฆ
๋์ VRAM์ NVIDIA RTX GPU๋ฅผ ํ์ฌํ ASUS ROG ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ๋ ธํธ๋ถ์ด ์ ์์ ์ฐ๊ฒฐ๋์ด ์์ ๋ 7B-13B ๋ก์ปฌ LLM์์ ๊ฐ์ฅ ๋น ๋ฅธ ์ ํ์ง์ ๋๋ค. ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ RTX GPU์ ์ง์์ ์ธ ๋ถํ๋ฅผ ์ํด ์ค๊ณ๋ ๋๊ฐ ์์คํ ์ ๊ฒฐํฉํ์ฌ, ์๊ณ ๊ฐ๋ฒผ์ด ์์๋ณด๋ค ๋ ์ค๋ ํด๋ก ์ฃผํ์๋ฅผ ์ ์งํฉ๋๋ค.
- ๊ตฌ๋งค ์ด์ : ๋์ VRAM์ RTX GPU์ ๊ฒ์ด๋ฐ ์์ค์ ๋๊ฐ์ Windows ์ต์ ์ค ๊ฐ์ฅ ๋น ๋ฅธ 7B-13B ์ง์ ์ถ๋ก ์ ์ ๊ณตํ๋ฉฐ, ์ข ์ข ์ํฌ์คํ ์ด์ ๋ ธํธ๋ถ๋ณด๋ค ๋ฎ์ ๊ฐ๊ฒฉ์ผ๋ก ์ ๊ณต๋ฉ๋๋ค.
- ASUS ROG ๋ ธํธ๋ถ์ ์ ํํ๋ ๊ฒฝ์ฐ: 7B-13B์์ ์ต๋ ์๋๋ฅผ ์ํ๊ณ , ๋ ธํธ๋ถ์ ์ ์์ ์ฐ๊ฒฐํ์ฌ ์ฌ์ฉํ ๊ฒ์ด๋ฉฐ, ๋ ์๋๋ฌ์ด ํฌ๊ณผ ๊ฒ์ด๋ฐ ์ธ๊ด์ ์์ฉํ ์ ์๋ ๊ฒฝ์ฐ.
- ์ฌ์ฌ์ฉ๋ ์๋ ๋ฐ์ดํฐ: RTX 4060 (8GB) ๋ ธํธ๋ถ์ 7B ๋ชจ๋ธ์ 60~90 tok/s๋ก ์คํํฉ๋๋ค; RTX 4070 (12GB) ๋ ธํธ๋ถ์ 13B๋ฅผ ํธ์ํ๊ฒ ์คํํฉ๋๋ค. ๋ ๋์ ๋๊ฐ ์์คํ ์ ์ด ์ค๋กํ๋ง์ ์ง์ฐ์ํค๋ฉฐ, ์ด๋ ์ผ๋ฐ์ ์ผ๋ก 10~15๋ถ์ ์ง์ ์์ฑ ํ ์์๋ฉ๋๋ค.
- ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํด ๊ตฌ์ฑํ์ญ์์ค: 13B ์ฌ์ ๋ฅผ ์ํด ์ต์ 16GB ์์คํ RAM๊ณผ 12GB VRAM GPU๋ฅผ ์ ํํ์ญ์์ค; 7B๊ฐ ํ๊ณ๋ผ๋ฉด 8GB VRAM ๋ชจ๋ธ๋ก ์ถฉ๋ถํฉ๋๋ค.
- ์ ํํ์ง ์์์ผ ํ๋ ๊ฒฝ์ฐ: ์ธ์ฅ GPU๋ ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ๋นํ์ฑํ๋๊ฑฐ๋ ์ ํ๋์ด ์ถ๋ก ์๋๊ฐ ํฌ๊ฒ ๋จ์ด์ง๋๋ค; ํฌ ์์๊ณผ ๋ฐฐํฐ๋ฆฌ ์๋ชจ๋ MacBook Pro๋ณด๋ค ํ์ ํ ๋์ต๋๋ค.
โ ๏ธWarning: Windows ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ผ๋ฐ์ ์ผ๋ก ์ ๋ ฅ ์ ์ฝ์ ์ํด ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ์ธ์ฅ GPU๋ฅผ ๋นํ์ฑํํ๋ฏ๋ก, ์ถ๋ก ์๋๊ฐ CPU๋ง ์ฌ์ฉํ๋ ์๋๋ก ๋จ์ด์ง๋๋ค. ์ ์ ์์ด ๋ชจ๋ธ์ ์คํํด์ผ ํ๋ค๋ฉด Apple MacBook Pro๊ฐ ๋ ๋์ ์ต์ ์ ๋๋ค.
Framework Laptop 16: ์๋ฆฌ ๊ฐ๋ฅํ๊ณ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ ์ ํ์ง
Framework Laptop 16์ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ง์ ์๋ฆฌํ๊ณ ์ ๊ทธ๋ ์ด๋ํ๊ณ ์ถ์ ๊ตฌ๋งค์๋ฅผ ์ํ ์ ํ์ง์ ๋๋ค. ๋ชจ๋์ ์ค๊ณ๋ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM๊ณผ ์ ์ฅ์, ๊ต์ฒด ๊ฐ๋ฅํ ๋ถํ์ ์ฌ์ฉํ๋ฏ๋ก, ์ฒซ ๋ฒ์งธ ๊ตฌ์ฑ์์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํด๋ ์ ์ฒด ๊ธฐ๊ธฐ๋ฅผ ์๋ก ๊ตฌ๋งคํ ํ์๊ฐ ์์ต๋๋ค.
- ๊ตฌ๋งค ์ด์ : ์ฌ์ฉ์๊ฐ ์ ๊ทธ๋ ์ด๋ํ ์ ์๋ RAM๊ณผ ์ ์ฅ์, ๋ชจ๋์ ์๋ฆฌ ๊ฐ๋ฅ ์ค๊ณ โ MacBook Pro ๋๋ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ๋ฉ๋๋ ๋ฉ๋ชจ๋ฆฌ ํ๊ณ์ ๋ํ ์์ถฉ์ฅ์น์ ๋๋ค.
- Framework Laptop 16์ ์ ํํ๋ ๊ฒฝ์ฐ: ์๋ฆฌ ๊ฐ๋ฅ์ฑ๊ณผ ๋์ค์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋๋ฆด ์ ์๋ ์ต์ ์ ์ค์ํ๊ณ , ํ์๊ฐ ์ฆ๊ฐํ ๋ ์ ์ฒด ๋ ธํธ๋ถ์ ๊ต์ฒดํ๋ ๊ฒ์ ํผํ๊ณ ์ถ์ ๊ฒฝ์ฐ.
- ๋ฉ๋ชจ๋ฆฌ ์ฅ์ : RAM์ด ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ๋ฏ๋ก 7B ๋ชจ๋ธ์ ์ํ ๋ ์์ ๊ตฌ์ฑ์ผ๋ก ์์ํด์ 13B ์์ ์ ์ํด ๋์ค์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ถ๊ฐํ ์ ์์ต๋๋ค โ ์ด๊ฒ์ด ๊ฐ๋ฅํ ์ ์ผํ ์ ํ๊ตฐ์ ๋๋ค.
- ์ง๊ธ์ ์ํด ๊ตฌ์ฑํ๊ณ , ๋์ค์ ์ํด ๊ณํํ์ญ์์ค: ํ์ฌ ๋ชฉํ ๋ชจ๋ธ์ ์ถฉ๋ถํ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ตฌ๋งคํ๋, ๋์ค์ ๋๋ฆด ์ ์๋ค๋ ๊ฒ์ ์๊ณ ๊ตฌ๋งคํ์ญ์์ค. ๊ตฌ๋งค ์ ์ ์ ์กฐ์ฌ ์ฌ์ดํธ์์ ํ์ฌ GPU ๋ชจ๋ ์ต์ ๊ณผ ์ง์๋๋ RAM ์ฉ๋์ ํ์ธํ์ญ์์ค.
- ์ ํํ์ง ์์์ผ ํ๋ ๊ฒฝ์ฐ: ํด๋ ๊ฐ๋ฅํ ํผํฉํฐ์์ ๊ฐ๋ฅํ ๊ฐ์ฅ ๋ง์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํ๋ค๋ฉด ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ MacBook Pro๊ฐ ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํฉ๋๋ค; ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ ๋ก๋น ๋ ๋์ GPU ์๋๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค.
๐กTip: Framework Laptop 16์ ์ด ๊ฐ์ด๋์์ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM์ ๊ฐ์ถ ์ ์ผํ ์ ํ๊ตฐ์ ๋๋ค. ๋ชจ๋ธ์ด ์ผ๋ง๋ ์ปค์ง์ง ํ์ ํ์ง ๋ชปํ๋ค๋ฉด, ์ฒ์์ ๋๋ฌด ๋ง์ด ์ง์ถํ๋ ๋์ ์ ๋นํ ์์ํด์ ๋์ค์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ถ๊ฐํ ์ ์์ต๋๋ค.
๋ ธํธ๋ถ์์ ์ผ๋ง๋ ๋ง์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํฉ๋๊น?
Q4_K_M ์์ํ๋ฅผ ์ฌ์ฉํ๋ฉด ๋ก์ปฌ LLM์ 10์ต ํ๋ผ๋ฏธํฐ๋น ์ฝ 0.6GB์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํ๋ฉฐ, ์ด์์ฒด์ ์ ๋๊ตฌ๋ฅผ ์ํด ์ถ๊ฐ๋ก 2~4GB๊ฐ ํ์ํฉ๋๋ค. ๋ ธํธ๋ถ์์ "๋ฉ๋ชจ๋ฆฌ"๋ Windows์ VRAM๊ณผ ์์คํ RAM, ๋๋ Apple Silicon์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์๋ฏธํฉ๋๋ค.
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ LLM์ด ํ์ฌ๋ ๋ ธํธ๋ถ์ ๊ฒฝ์ฐ, ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ 10์ต ํ๋ผ๋ฏธํฐ๋น ์ฝ 0.6GB์ ๋ฉ๋ชจ๋ฆฌ์ ์ค๋ฒํค๋๋ฅผ ์ํ 2~4GB๋ฅผ ๊ณํํ์ญ์์ค โ 8GB๋ 7B ๋ชจ๋ธ์ ์ปค๋ฒํ๊ณ 16GB๋ 13B๋ฅผ ์ปค๋ฒํฉ๋๋ค.
๐ฌ ์ฝ๊ฒ ๋งํ๋ฉด
๊ฐ ๋ชจ๋ธ์ ๋ก๋ํ๋ ๋ฐ ์ผ์ ๋์ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํ๊ณ , ์ด์์ฒด์ ๋ ๊ทธ ์์ ์์ฒด ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํฉ๋๋ค. ๋ชจ๋ธ์ด ๋ง์ง ์์ผ๋ฉด ๋ ธํธ๋ถ์ ๋์คํฌ ๊ธฐ๋ฐ swap์ ์ฌ์ฉํ์ฌ ๋งค์ฐ ๋๋ ค์ง๋๋ค. ๋ช ๊ธฐ๊ฐ๋ฐ์ดํธ์ ์ฌ์ ๋ฅผ ๋๊ณ ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ์ถฉ๋ถํ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ตฌ๋งคํ์ญ์์ค.
- 8GB โ 3B ๋ฐ 7B ๋ชจ๋ธ: Q4_K_M์ 7B ๋ชจ๋ธ์ ์ฝ 4.5GB๊ฐ ํ์ํ๋ฉฐ ์ด์์ฒด์ ๋ฅผ ์ํ ๊ณต๊ฐ์ด ๋จ์ต๋๋ค. 8GB๋ ์ค์ฉ์ ์ธ ์ต์ ๊ธฐ์ค์ ๋๋ค; 7B ๋ชจ๋ธ์ ๋ก๋ํ๊ธฐ ์ ์ ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ซ์ผ์ญ์์ค.
- 16GB โ 7B ๋ฐ 13B ๋ชจ๋ธ: Q4_K_M์ 13B ๋ชจ๋ธ์ ์ฝ 9GB๊ฐ ํ์ํ๋ฉฐ, ์ผ๋ฐ์ ์ธ ๋ฉํฐํ์คํน์ผ๋ก 16GB์ ๋ง์ต๋๋ค. 16GB๋ ๊ถ์ฅ ์์์ ์ ๋๋ค.
- 32GB ์ด์ โ ์ง์ค์ ์ธ ๋ฉํฐํ์คํน๊ณผ ํจ๊ป 13B, ๋๋ ๋ ํฐ ๋ชจ๋ธ: ๋ค๋ฅธ ์ ํ๋ฆฌ์ผ์ด์ ๊ณผ ํจ๊ป 13B์ ํธ์ํ๋ฉฐ, 13B๋ฅผ ๋์ด๊ฐ๊ธฐ ์ํ ์ง์ ์ ์ ๋๋ค.
- ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ MacBook Pro โ ๊ฐ์ฅ ํฐ ํด๋์ฉ ๋ชจ๋ธ: GPU๊ฐ ์ ์ฒด ๋ฉ๋ชจ๋ฆฌ ํ์ ๊ณต์ ํ๋ฏ๋ก, ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ MacBook Pro๋ 16GB Windows ๋ ธํธ๋ถ๋ณด๋ค ํจ์ฌ ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํฉ๋๋ค.
- 8GB๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ: 7B ๋ชจ๋ธ์ด ์์ ์ ์ถฉ๋ถํ ์ฒ๋ฆฌํ๋ ๊ฒฝ์ฐ; 16GB ์ด์์ ์ ํํ๋ ๊ฒฝ์ฐ: 13B ๋ชจ๋ธ์ ์ํ๊ฑฐ๋ ์ถ๋ก ๊ณผ ํจ๊ป ๋ธ๋ผ์ฐ์ ์ ํธ์ง๊ธฐ๋ฅผ ์คํํ๋ ๊ฒฝ์ฐ.
์์ฌ ๊ฒฐ์ ํ๋ฆ๋: ์ธ ๊ฐ์ง ์ง๋ฌธ์ผ๋ก ๋ ธํธ๋ถ ์ ํํ๊ธฐ
์ธ ๊ฐ์ง ์ง๋ฌธ์ ์์๋๋ก ๋๋ตํ๋ฉด ๋๋ถ๋ถ์ ๊ตฌ๋งค์๋ฅผ ํ ์ ํ๊ตฐ์ผ๋ก ์๋ดํฉ๋๋ค.
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ LLM์ ์ํ ๋ ธํธ๋ถ์ ์๋ฆฌ ๊ฐ๋ฅ์ฑ ํ์, ๋ฐฐํฐ๋ฆฌ ๋ฐ ํด๋์ฉ ๋ฉ๋ชจ๋ฆฌ ํ์, ๋ง์ง๋ง์ผ๋ก ๊ฒฌ๊ณ ํ ๋น๋์ ์๋น ์๋ ์ค์์ ์ ํํ์ฌ ๊ฒฐ์ ํ์ญ์์ค.
๐ฌ ์ฝ๊ฒ ๋งํ๋ฉด
๋ ธํธ๋ถ์ ์ง์ ์ ๊ทธ๋ ์ด๋ํ๊ณ ์ถ์์ง๋ถํฐ ์์ํ์ญ์์ค โ ๊ทธ๋ ๋ค๋ฉด Framework๋ฅผ ์ ํํ์ญ์์ค. ์ ์ ์์ด ๋ชจ๋ธ์ ์คํํด์ผ ํ๊ฑฐ๋ ๊ฐ์ฅ ๋ง์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํ๋ค๋ฉด MacBook Pro๋ฅผ ์ ํํ์ญ์์ค. ๊ทธ๋ ์ง ์์ผ๋ฉด ๋ด๊ตฌ์ฑ์ด ๋ ์ค์ํ์ง ๊ฐ๊ฒฉ ๋๋น ์๋๊ฐ ๋ ์ค์ํ์ง์ ๋ฐ๋ผ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ ๋๋ ์ํฌ์คํ ์ด์ ์ ์ ํํ์ญ์์ค.
- 1. ์ง์ ๋ ธํธ๋ถ์ ์๋ฆฌํ๊ณ ์ ๊ทธ๋ ์ด๋ํด์ผ ํฉ๋๊น? ์: Framework Laptop 16. ์๋์ค: ๊ณ์ํ์ญ์์ค.
- 2. ๋ฐฐํฐ๋ฆฌ๋ก ๋ชจ๋ธ์ ์คํํด์ผ ํ๊ฑฐ๋ ๊ฐ์ฅ ๋ง์ ํด๋์ฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํฉ๋๊น? ์: ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ Apple MacBook Pro. ์๋์ค: ๊ณ์ํ์ญ์์ค.
- 3. ์ ์ ์ฐ๊ฒฐ ์ 7B-13B์์ ๊ฐ์ฅ ๋น ๋ฅธ ์๋๋ฅผ ๊ฒฌ๊ณ ํ ๋น๋๋ก ์ํฉ๋๊น? ๊ฒฌ๊ณ ํ ๋น๋๊ฐ ๋ ์ค์ํฉ๋๋ค: Lenovo ThinkPad ์ํฌ์คํ ์ด์ . ์๋น ์๋๊ฐ ๋ ์ค์ํฉ๋๋ค: ASUS ROG ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ.
๋ก์ปฌ LLM ๋ ธํธ๋ถ ๊ตฌ๋งค์ฒ
๋ ธํธ๋ถ ๊ฐ๊ฒฉ์ ๋ชจ๋ธ ์ ๋ฐ์ดํธ ์ฌ์ดํด๊ณผ ํ๋ก๋ชจ์ ์ ๋ฐ๋ผ ๋ณ๋ํฉ๋๋ค โ ๋ฏธ๊ตญ ๊ฐ๊ฒฉ์ด ์ผ๋ฐ์ ์ผ๋ก ๊ฐ์ฅ ๋ฎ์ผ๋ฉฐ, EU ๊ฐ๊ฒฉ์๋ ๋ถ๊ฐ์ธ๊ฐ ํฌํจ๋ฉ๋๋ค. ์๋ ๋งํฌ๋ ์ง์ญ๋ณ ์ ํ ๊ฒ์ ๋ฐ ์ ์กฐ์ฌ ๋งํฌ์ ๋๋ค; ์ ํด ํ๊ทธ๊ฐ ์์ผ๋ฉฐ ์์๋ฃ๊ฐ ๋ฐ์ํ์ง ์์ต๋๋ค.
- ๋ฏธ๊ตญ: Amazon๊ณผ ์ ์กฐ์ฌ ์คํ ์ด (Apple, Lenovo, ASUS, Framework)๋ ๊ฐ์ฅ ๋ค์ํ ๊ตฌ์ฑ์ ์ ๊ณตํฉ๋๋ค. ์ ์กฐ์ฌ ์คํ ์ด์์๋ ์ ํํ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ ํํ ์ ์์ต๋๋ค.
- ๋ ์ผ: Amazon.de์ ๋ ์ผ ์ ์กฐ์ฌ ์คํ ์ด; ํ์ ๊ฐ๊ฒฉ์ ์ฝ 19% ๋ถ๊ฐ์ธ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
- ํ๋์ค: Amazon.fr๊ณผ ํ๋์ค ์ ์กฐ์ฌ ์คํ ์ด; ๊ฐ๊ฒฉ์ 20% ๋ถ๊ฐ์ธ๊ฐ ํฌํจ๋ ๋ ์ผ๊ณผ ์ ์ฌํฉ๋๋ค.
- ์ผ๋ณธ: Amazon.co.jp์ ์ผ๋ณธ ์ ์กฐ์ฌ ์คํ ์ด; ๊ตฌ์ฑ ์ต์ ์ ๋ฏธ๊ตญ๊ณผ ๋์ผํฉ๋๋ค.
- ๋ชจ๋ธ ์ ๋ฐ์ดํธ ๊ทผ์ฒ์์ ๊ตฌ๋งคํ๋ ๊ฒฝ์ฐ: ์๋ก์ด ์ธ๋๊ฐ ์ถ์๋ ๋ ์ด์ ์ธ๋ ๊ฐ๊ฒฉ์ด ๋จ์ด์ง๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ผ๋ฉฐ, ์ค๊ณ ๋๋ ๋ฆฌํผ๋น์ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ ์ ํ ํ๋ฆฌ๋ฏธ์์ ๋ง์ ๋ถ๋ถ์ ํผํ ์ ์์ต๋๋ค.
โ ๏ธWarning: ์ด ๊ฐ์ด๋์ ๊ฐ ๊ฐ๊ฒฉ ๋ฒ์๋ 2026๋ 5์ ๊ธฐ์ค ์ค๋ ์ท์ ๋๋ค. ๋ ธํธ๋ถ ๊ฐ๊ฒฉ์ ๋ชจ๋ธ ์ฌ์ดํด๊ณผ ํ๋ก๋ชจ์ ์ด๋ฒคํธ์ ๋ฐ๋ผ ๋ณ๋ํฉ๋๋ค โ ๊ตฌ๋งค ์ ์ ํญ์ ์๋งค์ ๋๋ ์ ์กฐ์ฌ์ ํ์ฌ ๋ชฉ๋ก์ ์ด์ด ํ์ธํ์ญ์์ค.
๋ก์ปฌ LLM ๋ ธํธ๋ถ ๊ตฌ๋งค ์ ํํ ์ค์
- ๋ฉ๋ชจ๋ฆฌ ๋์ GPU ์ด๋ฆ์ผ๋ก ๊ตฌ๋งคํ๊ธฐ. ๋ชจ๋ธ์ ์ํ VRAM์ด ๋ถ์กฑํ ๋น ๋ฅธ GPU๋ ์ธ๋ชจ๊ฐ ์์ต๋๋ค. ๋จผ์ 2~4GB ์ฌ์ ๋ฅผ ๋๊ณ ๋ชจ๋ธ์ด ๋ฉ๋ชจ๋ฆฌ์ ๋ง๋์ง ํ์ธํ ๋ค์ ์๋๋ฅผ ๋น๊ตํ์ญ์์ค.
- 7B ๋ชจ๋ธ์ ์ ์คํํ๊ธฐ๋ฅผ ๊ธฐ๋ํ๋ฉฐ ์์ ์ธํธ๋ผ๋ถ ๊ตฌ๋งคํ๊ธฐ. ํตํฉ ๊ทธ๋ํฝ๊ณผ ์์ ์ด ๋ง์ง์ ๊ฐ์ถ ์ธํธ๋ผ๋ถ์ ๊ฐ๋ฒผ์ด 3B-7B CPU ์ถ๋ก ๋ง ์ฒ๋ฆฌํฉ๋๋ค. ๋์ MacBook Pro ๋๋ ์ ๋๋ก ๋๊ฐ๋ ๋ ธํธ๋ถ์ ์ ํํ์ญ์์ค.
- ๋ ธํธ๋ถ์์ ๋ฐ์คํฌํฑ ์๋๋ฅผ ๊ธฐ๋ํ๊ธฐ. ์ด ์ ํ์ ์ง์์ ์ธ ๋ถํ ํ์์ ํด๋ก ์ฃผํ์๋ฅผ ๋ฎ๊ฒ ์ ์งํฉ๋๋ค โ ๋ ธํธ๋ถ์ ๋์ผํ ์นฉ์ด ํ์ฌ๋ ๋ฐ์คํฌํฑ๋ณด๋ค ์ฝ 20~30% ๋๋ฆฌ๊ฒ ๋์ํฉ๋๋ค.
- ๋ฐฐํฐ๋ฆฌ๋ก ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ ์คํ ๊ณํ ์ธ์ฐ๊ธฐ. Windows ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ์ธ์ฅ GPU๋ฅผ ์ ํํ๊ฑฐ๋ ๋นํ์ฑํํ์ฌ ์ถ๋ก ์๋๊ฐ CPU๋ง์ ์๋๋ก ๋จ์ด์ง๋๋ค. ์ ์์ ์ฐ๊ฒฐํ์ฌ ์ฌ์ฉํ๋๋ก ๊ณํํ๊ฑฐ๋ MacBook Pro๋ฅผ ๊ตฌ๋งคํ์ญ์์ค.
- ๋ฉ๋๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋ฎ์ ์ฉ๋์ผ๋ก ๊ตฌ์ฑํ๊ธฐ. MacBook Pro ๋๋ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์์ ๋ฉ๋ชจ๋ฆฌ๋ ๊ตฌ๋งค ํ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ๊ตฌ๋งค ์ ๊ฐ์ฅ ํฐ ๋ชฉํ ๋ชจ๋ธ์ ์ถฉ๋ถํ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ตฌ๋งคํ์ญ์์ค.
- ์ด ๊ด๋ฆฌ ๋ฌด์ํ๊ธฐ. ๋ซํ ๊ฐ๋ฐฉ์์ ๋๋ ๊ณต๊ธฐ ์ํ์ ์ํ ์คํ ๋ ์์ด ์ถ๋ก ์ ์คํํ๋ฉด GPU๊ฐ ๋ช ๋ถ ์์ ๊ธ๊ฒฉํ ์ค๋กํ๋ฉ๋๋ค. ์คํ ๋๋ฅผ ์ฌ์ฉํ๊ณ ํตํ๊ตฌ๋ฅผ ๊นจ๋ํ๊ฒ ์ ์งํ์ญ์์ค.
- 7B ๋ชจ๋ธ์ ์ํด ๊ณผ๋ํ๊ฒ ์ง์ถํ๊ธฐ. 7B ๋ชจ๋ธ์ด ์์ ์ ์ถฉ๋ถํ ์ฒ๋ฆฌํ๋ค๋ฉด, ๊ณ ์ฌ์ ๊ตฌ์ฑ์ ๋ญ๋น๋ ๋๊ณผ ๋ฐฐํฐ๋ฆฌ์ ๋๋ค. ์ฐ์ฐํ ๊ฐ์ง ์์ฐ์ด ์๋ ๋ชจ๋ธ์ ๋ง๊ฒ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์กฐ์ ํ์ญ์์ค.
์ถ์ฒ
- ๋ก์ปฌ LLM ์คํ์ ์ํ ์ต๊ณ ์ ๋ ธํธ๋ถ โ PromptQuorum ์์ฒด ๋ ธํธ๋ถ ๊ฐ์ด๋: GPU ๋ฑ๊ธ, ๋ชจ๋ธ ํฌ๊ธฐ ์ ํ, ์ด ๊ฐ์ด๋์์ ์ฌ์ฌ์ฉ๋ ๋ฐ์คํฌํฑ-๋ ธํธ๋ถ ์๋ ์ฐจ์ด.
- ๋ ธํธ๋ถ์์ ๋ก์ปฌ LLM ์คํํ๊ธฐ: RAM, ์๋, ์ด ๊ด๋ฆฌ โ ์ด ๊ฐ์ด๋์์ ์ฌ์ฌ์ฉ๋ 7B ์๋ ์์น (CPU, Apple Silicon, RTX ๋ ธํธ๋ถ GPU) ๋ฐ ๋ฐฐํฐ๋ฆฌ/์ด ๋ฐ์ดํฐ๋ฅผ ์ํ PromptQuorum ์์ฒด ์ถ์ฒ.
- Apple MacBook Pro ์ฌ์ โ Apple Silicon ํตํฉ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ ๋ํ ๊ณต์ ์ฐธ์กฐ.
- Framework Laptop 16 โ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM๊ณผ GPU ๋ชจ๋์ ๊ฐ์ถ ๋ชจ๋์ ์ค๊ณ์ ๋ํ ๊ณต์ ์ฐธ์กฐ.
FAQ
2026๋ ๋ก์ปฌ LLM ์คํ์ ์ํ ์ต๊ณ ์ ๋ ธํธ๋ถ์ ๋ฌด์์ ๋๊น?
ํ๋์ ์ต๊ณ ๋ ธํธ๋ถ์ ์์ต๋๋ค โ ๊ตฌ๋งค ์คํ์ผ์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. ๋์ฉ๋ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ Apple MacBook Pro๋ ๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ ํด๋ ๊ฐ๋ฅํ๊ณ ํจ์จ์ ์ธ ํผํฉํฐ์ ์์ฉํ๋ฉฐ, ๋ค๋ชฉ์ ์ผ๋ก ๊ฐ์ฅ ์ข์ ์ ํ์ ๋๋ค. ASUS ROG ๋๋ Lenovo ThinkPad ์ํฌ์คํ ์ด์ ๊ณผ ๊ฐ์ ๋์ VRAM NVIDIA ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ ์ ์ฐ๊ฒฐ ์ 7B~13B ๋ชจ๋ธ์ ๋ ๋น ๋ฅด๊ฒ ์คํํฉ๋๋ค. Framework Laptop 16์ ์๋ฆฌ ๋ฐ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ ํ๋์จ์ด๋ฅผ ์ํ๋ค๋ฉด ์ ํํ์ญ์์ค. ๋จผ์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๊ตฌ๋งคํ๊ณ , ๊ทธ ๋ค์์ ์๋๋ฅผ ๊ณ ๋ คํ์ญ์์ค.
๋ก์ปฌ LLM์ ์ํ ๋ ธํธ๋ถ์๋ ์ผ๋ง๋ ๋ง์ RAM์ด ํ์ํฉ๋๊น?
์ค์ฉ์ ์ธ ์ต์ ๊ธฐ์ค์ผ๋ก 8GB, ๊ถ์ฅ ์์์ ์ผ๋ก 16GB๋ฅผ ๊ณํํ์ญ์์ค. Q4_K_M ์์ํ๋ฅผ ์ฌ์ฉํ๋ฉด 7B ๋ชจ๋ธ์ ์ฝ 4.5GB๊ฐ ํ์ํ๋ฉฐ ๋ค๋ฅธ ์ฑ์ ๊ฐ๋ณ๊ฒ ์ ์งํ๋ฉด 8GB ๋ ธํธ๋ถ์์ ์คํ๋ฉ๋๋ค. 13B ๋ชจ๋ธ์ ์ฝ 9GB๊ฐ ํ์ํ๋ฉฐ, 16GB์ ํธ์ํ๊ฒ ๋ง์ต๋๋ค. ์ด์์ฒด์ ๋ฅผ ์ํด ํญ์ 2~4GB์ ์ฌ์ ๋ฅผ ๋จ๊ฒจ ๋์ญ์์ค.
๋ก์ปฌ LLM์๋ MacBook Pro์ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ ์ค ์ด๋ ๊ฒ์ด ๋ ๋ซ์ต๋๊น?
์ฐ์ ์์์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. MacBook Pro๋ CPU์ GPU ์ฌ์ด์ ๋จ์ผ ํตํฉ ๋ฉ๋ชจ๋ฆฌ ํ์ ๊ณต์ ํ๋ฏ๋ก ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํ๊ณ , ํจ์ฌ ๋ ํจ์จ์ ์ผ๋ก ๋์ํ๋ฉฐ, ๋ฐฐํฐ๋ฆฌ๋ก๋ ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค. ๋์ VRAM์ NVIDIA RTX GPU๋ฅผ ํ์ฌํ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ ์ ์ฐ๊ฒฐ ์ 7B~13B ๋ชจ๋ธ์ ๋ ๋น ๋ฅด๊ฒ ์คํํฉ๋๋ค. ํด๋์ฑ๊ณผ ํฐ ๋ชจ๋ธ์ ์ํด์๋ MacBook Pro๋ฅผ, ์ ์ ์ฐ๊ฒฐ ์ ์ต๊ณ ์๋๋ฅผ ์ํด์๋ ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ ํํ์ญ์์ค.
๋ ธํธ๋ถ์ด ๋ฐ์คํฌํฑ๋งํผ ๋น ๋ฅด๊ฒ ๋ก์ปฌ LLM์ ์คํํ ์ ์์ต๋๊น?
์๋๋๋ค. ๋ ธํธ๋ถ์ ๋ ์์ ๋๊ฐ ์์คํ ์ด ์ง์์ ์ธ ๋ถํ ํ์์ ํด๋ก ์ฃผํ์๋ฅผ ๋ฎ๊ฒ ์ ์งํ๊ธฐ ๋๋ฌธ์ ๋์ผํ ์นฉ์ด ํ์ฌ๋ ๋ฐ์คํฌํฑ๋ณด๋ค ์ฝ 20~30% ๋๋ฆฌ๊ฒ ๋์ํฉ๋๋ค. ์ด ์ค๋กํ๋ง์ ์ผ๋ฐ์ ์ผ๋ก 10~15๋ถ์ ์ฐ์ ์์ฑ ํ ์์๋ฉ๋๋ค. ๋ ธํธ๋ถ์ ํด๋์ฑ์ ์ํ ์ฌ๋ฐ๋ฅธ ์ ํ์ ๋๋ค; ๋ฐ์คํฌํฑ์ ์ง์์ ์ธ ์์ ๋ถํ๋ ํฐ ๋ชจ๋ธ์ ๋ ๋น ๋ฆ ๋๋ค.
Framework Laptop 16์ด ๋ก์ปฌ LLM์ ์ข์ต๋๊น?
์๋ฆฌ ๊ฐ๋ฅ์ฑ๊ณผ ์ ๊ทธ๋ ์ด๋๊ฐ ์ค์ํ๋ค๋ฉด ์์ ๋๋ค. Framework Laptop 16์ ์ ๊ทธ๋ ์ด๋ ๊ฐ๋ฅํ RAM๊ณผ ์ ์ฅ์, ๋ชจ๋์ ์ค๊ณ๋ฅผ ๊ฐ์ถ๊ณ ์์ด 7B ๋ชจ๋ธ์ ์ํ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ผ๋ก ์์ํด์ 13B ์์ ์ ์ํด ๋์ค์ ๋๋ฆด ์ ์์ต๋๋ค. ์ด ๊ฐ์ด๋์์ ์ฌ์ฉ์๊ฐ ์ ๊ทธ๋ ์ด๋ํ ์ ์๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ฐ์ถ ์ ์ผํ ์ ํ๊ตฐ์ ๋๋ค. ํด๋ ๊ฐ๋ฅํ ํผํฉํฐ์์ ๊ฐ์ฅ ๋ง์ ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํ๋ค๋ฉด ๋์ฉ๋ ๋ฉ๋ชจ๋ฆฌ MacBook Pro๊ฐ ์ฌ์ ํ ๋ ํฐ ๋ชจ๋ธ์ ์์ฉํฉ๋๋ค.
๋ฐฐํฐ๋ฆฌ๋ก ๋ ธํธ๋ถ์์ ๋ก์ปฌ LLM์ ์คํํ ์ ์์ต๋๊น?
๋ ธํธ๋ถ์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. Apple Silicon MacBook์ ๋ฐฐํฐ๋ฆฌ๋ก๋ ์ฌ์ฉ ๊ฐ๋ฅํ๋ฉฐ ํจ์จ์ ์ผ๋ก ๋์ํฉ๋๋ค โ 7B ์ถ๋ก ์ค ์ฝ 12~18W. Windows ๊ฒ์ด๋ฐ ๋ ธํธ๋ถ์ ์ผ๋ฐ์ ์ผ๋ก ๋ฐฐํฐ๋ฆฌ ์ฌ์ฉ ์ ์ธ์ฅ GPU๋ฅผ ๋นํ์ฑํํ๊ฑฐ๋ ์ ํํ์ฌ ์ถ๋ก ์๋๊ฐ ๋๋ฆฐ CPU๋ง์ ์๋๋ก ๋จ์ด์ง๋๋ค. ์ ์ ์์ด ๋ชจ๋ธ์ ์คํํ๋ ๊ฒ์ด ์ค์ํ๋ค๋ฉด MacBook Pro๋ฅผ ์ ํํ์ญ์์ค.
๋ ธํธ๋ถ์์ 7B ๋ชจ๋ธ์ ์ผ๋ง๋ ๋น ๋ฅด๊ฒ ์คํ๋ฉ๋๊น?
์๋๋ ํ๋์จ์ด์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. Q4_K_M์ 7B ๋ชจ๋ธ์ ๋ ธํธ๋ถ CPU์์ ์ด๋น ์ฝ 10~25 ํ ํฐ, ํตํฉ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ฌ์ฉํ๋ Apple Silicon์์ 30~80 ํ ํฐ, NVIDIA RTX 4060 ๋ ธํธ๋ถ GPU์์ 60~90 ํ ํฐ์ผ๋ก ์คํ๋ฉ๋๋ค. ์ด ์์น๋ PromptQuorum ์์ฒด ๋ ธํธ๋ถ ํ ์คํธ์์ ๋์จ ๊ฒ์ ๋๋ค.
๋ ธํธ๋ถ GPU๋ฅผ ๋์ค์ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๊น?
๊ฑฐ์ ๋ชจ๋ ๋ ธํธ๋ถ์์ ์๋๋๋ค โ GPU๋ ๋ฉ์ธ๋ณด๋์ ๋ฉ๋๋์ด ์์ด ๋ณ๊ฒฝํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ VRAM์ ๊ตฌ๋งค ์ ์ฌ๋ฐ๋ฅด๊ฒ ์ ํํด์ผ ํ๋ ์๊ตฌ์ ์ธ ์ ํ์ ๋๋ค: 8GB GPU๋ 7B ๋ชจ๋ธ์ ์์ฉํ๊ณ , 12GB GPU๋ 13B๋ฅผ ์ํ ๋ ์์ ํ ์ต์ ๊ธฐ์ค์ ๋๋ค. Framework Laptop 16์ RAM๊ณผ ์ผ๋ถ ๊ตฌ์ฑ ์์์์ ๋ชจ๋์์ด์ง๋ง, GPU๋ ๊ตฌ์ฑ ์์ ์ ์ ํํฉ๋๋ค.