Key Takeaways
- macOS: ollama.com์์ .dmg๋ฅผ ๋ค์ด๋ก๋ํ๊ฑฐ๋ `brew install ollama`๋ฅผ ์คํํ ํ -- `ollama run llama3.2`๋ก ๋ํ๋ฅผ ์์ํ์ญ์์ค.
- Windows: ollama.com/download์์ ์ค์น ํ๋ก๊ทธ๋จ์ ๋ค์ด๋ก๋ํ์ญ์์ค. Ollama๋ ์์คํ ํธ๋ ์ด์์ ๋ฐฑ๊ทธ๋ผ์ด๋ ์๋น์ค๋ก ์คํ๋ฉ๋๋ค.
- Linux: ๋ช ๋ น์ด ํ๋๋ก ๋ชจ๋ ๊ฒ์ ์ค์นํฉ๋๋ค -- `curl -fsSL https://ollama.com/install.sh | sh`.
- ์ต์ ์๊ตฌ ์ฌํญ: 3B ๋ชจ๋ธ์๋ 4 GB RAM, 7B ๋ชจ๋ธ์๋ 8 GB RAM. ์์ํ๋ ๋ฐ GPU๋ ํ์ํ์ง ์์ต๋๋ค.
- Ollama๋ `http://localhost:11434`์์ OpenAI ํธํ REST API๋ฅผ ์ ๊ณตํฉ๋๋ค -- OpenAI SDK ์ฑ์ด๋ผ๋ฉด ์ฝ๋ ๋ณ๊ฒฝ ์์ด ์ฌ์ฉํ ์ ์์ต๋๋ค.
- ๐ ์ค์น ์ ์ ๋ก์ปฌ ์คํ์ด ๊ทํ์ ์ฌ์ฉ ์ฌ๋ก์ ์ ํฉํ์ง ํ์ธํ์ญ์์ค โ ํด๋ผ์ฐ๋๊ฐ ๋ก์ปฌ ์ถ๋ก ๋ณด๋ค ๋์ ๊ฒฝ์ฐ๋ ๋ก์ปฌ LLM vs ํด๋ผ์ฐ๋ API๋ฅผ ์ฐธ์กฐํ์ญ์์ค.
์ค์น ์ : ๋ก์ปฌ LLM์ด ๊ทํ์ ์ฌ์ฉ ์ฌ๋ก์ ์ ํฉํฉ๋๊น?
Ollama ์ค์น๋ 5๋ถ์ด ๊ฑธ๋ฆฌ์ง๋ง, GPU ๊ฐ์ง ๋ฌธ์ , ๋๋ผ์ด๋ฒ ๋ถ์ผ์น ๋๋ RAM ์ ์ฝ์ด ๋ฐ์ํ๋ฉด ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ์ ์ ๋๋ก ์คํํ๋ ๋ฐ 20~40๋ถ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค.
๋ก์ปฌ ์ถ๋ก ์ด ์ฌ๋ฐ๋ฅธ ์ ํ์ธ์ง ํ์ ํ์ง ๋ชปํ๋ ๊ฒฝ์ฐ, **๋ก์ปฌ vs ํด๋ผ์ฐ๋์ ์ ์ฒด ํธ๋ ์ด๋์คํ๋ฅผ ๋จผ์ ๋น๊ตํ์ญ์์ค** โ ํด๋ผ์ฐ๋ API(5๋ถ์ด๋ฉด ์ค๋น ์๋ฃ, ๋ฌธ์ ํด๊ฒฐ ๋ถํ์)๋ก ์์ํ๋ ๊ฒ์ด ๋ ํ๋ช ํ ๋ฐฉ๋ฒ์์ ์ ์ ์์ต๋๋ค. ๋ง์ ์ฌ์ฉ์๊ฐ ์ค์น ํ์ ์ด๋ฅผ ๋ฐ๊ฒฌํฉ๋๋ค. ์ง๊ธ ๊ฒฐ์ ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
๋ก์ปฌ์ ์ ํํ ์ฌ์ฉ์๋ ์๋๋ฅผ ๊ณ์ ์ฝ์ผ์ญ์์ค. ๋จผ์ ํด๋ผ์ฐ๋๋ฅผ ํ๊ฐํ๋ ค๋ ์ฌ์ฉ์๋ ์ ์ฒด ๋น๊ต๋ฅผ ์ฐธ์กฐํ์ญ์์ค.
Ollama๋ ๋ฌด์์ด๋ฉฐ ์ ์ฌ์ฉํฉ๋๊น?
Ollama๋ ๋ํ ์ธ์ด ๋ชจ๋ธ์ ๋ก์ปฌ์์ ์คํํ๋ ์คํ ์์ค ์ถ๋ก ์์ง์ ๋๋ค. ๋ชจ๋ธ ๊ด๋ฆฌ, llama.cpp ์ถ๋ก ๋ฐฑ์๋, OpenAI ํธํ REST API๋ฅผ ๋จ์ผ ๊ฒฝ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ผ๋ก ํจํค์งํฉ๋๋ค. Python, conda ํ๊ฒฝ, CUDA ์ค์ ์ด ํ์ํ์ง ์์ต๋๋ค.
Ollama๋ Meta Llama 3.3, Microsoft Phi-3, Google Gemma 2, Mistral, Qwen3 ๋ฐ 100๊ฐ ์ด์์ ๋ค๋ฅธ ๋ชจ๋ธ์ ์ํด๋ฆญ์ผ๋ก ๋ค์ด๋ก๋ํ ์ ์๋ ํ๋ ์ด์ ๋ ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ(ollama.com/library)๋ฅผ ์ ์ง ๊ด๋ฆฌํฉ๋๋ค. ๋ชจ๋ธ์ ํ ๋ฒ ๋ค์ด๋ก๋๋์ด ๋์คํฌ์ ์บ์๋ฉ๋๋ค -- ์ดํ ์คํ์ 5์ด ์ด๋ด์ ์์๋ฉ๋๋ค.
Ollama์ ๋์์ ๋ก์ปฌ LLM ์ํด๋ฆญ ์ค์น ํ๋ก๊ทธ๋จ์ ์ฐธ์กฐํ์ญ์์ค. Ollama์ LM Studio์ ๋น๊ต๋ LM Studio ์ค์น ๋ฐฉ๋ฒ์ ์ฐธ์กฐํ์ญ์์ค.
macOS์์ Ollama๋ฅผ ์ด๋ป๊ฒ ์ค์นํฉ๋๊น?
๋ ๊ฐ์ง ๋ฐฉ๋ฒ์ด ์์ต๋๋ค. ์ค์น ํ๋ก๊ทธ๋จ ๋ค์ด๋ก๋๊ฐ ๋ ๋น ๋ฅด๋ฉฐ, Homebrew๋ brew๋ก ์ํํธ์จ์ด๋ฅผ ๊ด๋ฆฌํ๋ ๊ฒฝ์ฐ์ ์ ํฉํฉ๋๋ค.
- 1ollama.com/download๋ก ์ด๋ํ์ฌ "Download for macOS"๋ฅผ ํด๋ฆญํ์ญ์์ค.
- 2๋ค์ด๋ก๋ํ Ollama.dmg ํ์ผ์ ์ด๊ณ Ollama๋ฅผ ์์ฉ ํ๋ก๊ทธ๋จ ํด๋๋ก ๋๋๊ทธํ์ญ์์ค.
- 3์์ฉ ํ๋ก๊ทธ๋จ์์ Ollama๋ฅผ ์คํํ์ญ์์ค. ๋ฉ๋ด ๋ฐ์ ๋ผ๋ง ์์ด์ฝ์ด ํ์๋ฉ๋๋ค -- Ollama๊ฐ ์ด์ ๋ฐฑ๊ทธ๋ผ์ด๋ ์๋น์ค๋ก ์คํ ์ค์ ๋๋ค.
- 4ํฐ๋ฏธ๋์ ์ด๊ณ ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ์ ์คํํ์ญ์์ค: `ollama run llama3.2`
- 5๋ชจ๋ธ์ด ๋ค์ด๋ก๋๋ฉ๋๋ค(llama3.2:3b์ ๊ฒฝ์ฐ ์ฝ 2 GB). ์ฑํ ํ๋กฌํํธ๊ฐ ํ์๋ฉ๋๋ค. ๋ฉ์์ง๋ฅผ ์ ๋ ฅํ๊ณ Enter๋ฅผ ๋๋ฅด์ญ์์ค.
Homebrew๋ก macOS์ Ollama ์ค์น
brew install ollama
# Start the Ollama service
ollama serve &
# Pull and run a model
ollama run llama3.2Windows์์ Ollama๋ฅผ ์ด๋ป๊ฒ ์ค์นํฉ๋๊น?
- 1ollama.com/download๋ก ์ด๋ํ์ฌ "Download for Windows"๋ฅผ ํด๋ฆญํ์ญ์์ค.
- 2๋ค์ด๋ก๋ํ OllamaSetup.exe ์ค์น ํ๋ก๊ทธ๋จ์ ์คํํ์ญ์์ค. Ollama๋ %LOCALAPPDATA%\Programs\Ollama์ ์ค์น๋ฉ๋๋ค.
- 3Ollama๊ฐ ์๋์ผ๋ก ์์๋์ด ์์คํ ํธ๋ ์ด ์์ด์ฝ์ผ๋ก ํ์๋ฉ๋๋ค.
- 4PowerShell ๋๋ ๋ช ๋ น ํ๋กฌํํธ๋ฅผ ์ด๊ณ ์คํํ์ญ์์ค: `ollama run llama3.2`
- 5์ฒซ ๋ฒ์งธ ์คํ ์ ๋ชจ๋ธ์ด ๋ค์ด๋ก๋๋ฉ๋๋ค. ์ดํ ์คํ์ ์บ์๋ ๋ชจ๋ธ์ ์ฌ์ฉํฉ๋๋ค.
Windows์์์ GPU ์ง์
Windows์ Ollama๋ NVIDIA GPU(CUDA 11.3+)์ AMD GPU(ROCm 6+)๋ฅผ ์๋์ผ๋ก ๊ฐ์งํ์ฌ ์ฌ์ฉํฉ๋๋ค. NVIDIA RTX ์นด๋๊ฐ ์๋ ๊ฒฝ์ฐ Ollama๊ฐ ์๋์ผ๋ก ๋ชจ๋ธ ๋ ์ด์ด๋ฅผ VRAM์ ์คํ๋ก๋ํฉ๋๋ค -- ์๋ ์ค์ ์ด ํ์ํ์ง ์์ต๋๋ค. GPU๊ฐ ์ฌ์ฉ๋๊ณ ์๋์ง ํ์ธํ๋ ค๋ฉด `ollama run llama3.2`๋ฅผ ์คํํ ํ ์์ ๊ด๋ฆฌ์ โ GPU์์ ํ๋์ ํ์ธํ์ญ์์ค.
Linux์์ Ollama๋ฅผ ์ด๋ป๊ฒ ์ค์นํฉ๋๊น?
๋จ์ผ ๋ช ๋ น์ด๋ก ๋ชจ๋ Linux ๋ฐฐํฌํ์ Ollama๋ฅผ ์ค์นํฉ๋๋ค:
curl -fsSL https://ollama.com/install.sh | shLinux์์ systemd ์๋น์ค๋ก Ollama ์คํ
์ค์น ์คํฌ๋ฆฝํธ๊ฐ ์๋์ผ๋ก Ollama๋ฅผ systemd ์๋น์ค๋ก ๋ฑ๋กํฉ๋๋ค. ๊ด๋ฆฌ ๋ฐฉ๋ฒ:
# Check service status
systemctl status ollama
# Start / stop / restart
systemctl start ollama
systemctl stop ollama
systemctl restart ollama
# View logs
journalctl -u ollama -fOllama์์ ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ์ ์ด๋ป๊ฒ ๋ค์ด๋ก๋ํ๊ณ ์คํํฉ๋๊น?
Ollama๋ฅผ ์ค์นํ ํ ์ด ๋ช ๋ น์ด๋ฅผ ์คํํ์ฌ ๋ชจ๋ธ์ ๋ค์ด๋ก๋ํ๊ณ ์์ํ์ญ์์ค:
# Pull a model (downloads to ~/.ollama/models)
ollama pull llama3.2
# Run it interactively
ollama run llama3.2
# Or pull and run in one step
ollama run llama3.2์ฒ์์ ์ด๋ค ๋ชจ๋ธ๋ก ์์ํด์ผ ํฉ๋๊น?
์ฒซ ๋ฒ์งธ ์คํ์ ์ํด ๋ค์ํ ํ๋์จ์ด ํ๋กํ์ ๋ค๋ฃจ๋ ์ธ ๊ฐ์ง ๋ชจ๋ธ์ ๊ถ์ฅํฉ๋๋ค:
| Model | ๋ค์ด๋ก๋ ํฌ๊ธฐ | ํ์ RAM | ์ ํฉ ์ฉ๋ |
|---|---|---|---|
| Llama 3.2 3B | ์ฝ 2 GB | 4 GB | ์ฒซ ํ ์คํธ -- ๋ชจ๋ ๊ธฐ๊ธฐ |
| Llama 3.3 8B | ์ฝ 4.7 GB | 8 GB | ๋๋ถ๋ถ์ ๋ ธํธ๋ถ์์ ์ผ๋ฐ ์ฌ์ฉ |
| phi4-mini | ์ฝ 2.3 GB | 4 GB | ๋น ๋ฅธ ์๋ต, ๋ฎ์ RAM |
Ollama๊ฐ ์๋ํ๋์ง ์ด๋ป๊ฒ ํ์ธํฉ๋๊น?
REST API๋ฅผ ์ง์ ํ ์คํธํ์ฌ Ollama๊ฐ ์คํ ์ค์ด๊ณ ์ ๊ทผ ๊ฐ๋ฅํ์ง ํ์ธํ์ญ์์ค:
# Check Ollama is running
curl http://localhost:11434
# Expected: "Ollama is running"
# List downloaded models
ollama list
# Send a prompt via API (OpenAI-compatible)
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "What is 2+2?",
"stream": false
}'์ ์ฉํ Ollama ๋ช ๋ น์ด
| ๋ช ๋ น์ด | ๊ธฐ๋ฅ |
|---|---|
| ollama list | ๋ค์ด๋ก๋๋ ๋ชจ๋ ๋ชจ๋ธ๊ณผ ํฌ๊ธฐ ํ์ |
| ollama pull <model> | ์คํํ์ง ์๊ณ ๋ชจ๋ธ ๋ค์ด๋ก๋ |
| ollama rm <model> | ๋์คํฌ์์ ๋ชจ๋ธ ์ญ์ |
| ollama ps | ํ์ฌ ๋ฉ๋ชจ๋ฆฌ์ ๋ก๋๋ ๋ชจ๋ธ ํ์ |
| ollama show <model> | ๋ชจ๋ธ ์ธ๋ถ ์ ๋ณด ํ์(ํ๋ผ๋ฏธํฐ, ํ ํ๋ฆฟ, ๋ผ์ด์ ์ค) |
| ollama serve | Ollama ์๋ฒ ์๋ ์์(์๋น์ค๋ก ์คํ๋์ง ์๋ ๊ฒฝ์ฐ) |
์ผ๋ฐ์ ์ธ Ollama ์ค์น ๋ฌธ์ ํด๊ฒฐ
Ollama์์ "could not connect to ollama app, is it running?"์ด๋ผ๊ณ ํ์๋ฉ๋๋ค
Ollama๊ฐ ๋ฐฑ๊ทธ๋ผ์ด๋ ์๋น์ค๋ก ์คํ๋๊ณ ์์ง ์์ต๋๋ค. macOS์์๋ ์์ฉ ํ๋ก๊ทธ๋จ์์ Ollama ์ฑ์ ์ฌ์ญ์์ค. Linux์์๋ `systemctl start ollama` ๋๋ ํฐ๋ฏธ๋์์ `ollama serve`๋ฅผ ์คํํ์ญ์์ค. Windows์์๋ ์์ ๋ฉ๋ด์์ Ollama๋ฅผ ์คํํ์ญ์์ค.
๋ชจ๋ธ ๋ค์ด๋ก๋๊ฐ ๋งค์ฐ ๋๋ฆฌ๊ฑฐ๋ ๋ฉ์ถฅ๋๋ค
๋ชจ๋ธ ๋ค์ด๋ก๋ ํฌ๊ธฐ๊ฐ ํฝ๋๋ค(2~47 GB). ๋ค์ด๋ก๋๊ฐ ๋ฉ์ถ๋ฉด Ctrl+C๋ฅผ ๋๋ฅด๊ณ `ollama pull <model>`์ ๋ค์ ์คํํ์ญ์์ค -- Ollama๊ฐ ๋ถ๋ถ ๋ค์ด๋ก๋๋ฅผ ์ฌ๊ฐํฉ๋๋ค. ๋ ๋น ๋ฅธ ๋ค์ด๋ก๋๋ฅผ ์ํด Wi-Fi ๋์ ์ ์ ์ฐ๊ฒฐ์ ์ฌ์ฉํ์ญ์์ค.
๋ชจ๋ธ ์คํ ์ "error: model requires more system memory"๊ฐ ํ์๋ฉ๋๋ค
๋ชจ๋ธ์ด ์ฌ์ฉ ๊ฐ๋ฅํ RAM๋ณด๋ค ํฝ๋๋ค. ๋ ์์ ์์ํ๋ฅผ ์๋ํ์ญ์์ค: ๊ธฐ๋ณธ Q4_K_M ๋์ `ollama run llama3.2-instruct-q4_0`์ ์ฌ์ฉํ์ญ์์ค. ๋๋ `llama3.2:3b`์ ๊ฐ์ ๋ ์์ ๋ชจ๋ธ๋ก ์ ํํ์ญ์์ค. RAM์ ๋ง๋ ๊ถ์ฅ ์ฌํญ์ ์ด๋ณด์๋ฅผ ์ํ ์ต๊ณ ์ ๋ก์ปฌ LLM ๋ชจ๋ธ์ ์ฐธ์กฐํ์ญ์์ค.
Ollama๊ฐ ์คํ ์ค์ธ๋ฐ GPU๊ฐ ์ฌ์ฉ๋์ง ์์ต๋๋ค
Windows์์๋ NVIDIA ๋๋ผ์ด๋ฒ ๋ฒ์ ์ด 452.39 ์ด์์ธ์ง ํ์ธํ์ญ์์ค. Linux์์๋ NVIDIA ์ปจํ ์ด๋ ํดํท์ด ์ค์น๋์ด ์๋์ง ํ์ธํ์ญ์์ค(`nvidia-smi`๊ฐ GPU ์ ๋ณด๋ฅผ ๋ฐํํด์ผ ํฉ๋๋ค). Ollama๋ VRAM์ด ์ฌ์ฉ ๊ฐ๋ฅํ ๋ ์๋์ผ๋ก ๋ ์ด์ด๋ฅผ GPU์ ์คํ๋ก๋ํฉ๋๋ค -- ๋ชจ๋ธ์ ์์ํ ํ `ollama ps`๋ฅผ ์คํํ์ฌ GPU ์ฌ์ฉ๋ฅ ์ ํ์ธํ์ญ์์ค.
Ollama ๋ชจ๋ธ ํ์ผ์ ์ด๋์ ์ ์ฅ๋ฉ๋๊น?
๋ชจ๋ธ์ macOS์ Linux์์ ~/.ollama/models์ ์ ์ฅ๋ฉ๋๋ค. Windows์์ ๊ธฐ๋ณธ ๊ฒฝ๋ก๋ C:\Users\<username>\.ollama\models์ ๋๋ค. ์๋น์ค ์์ ์ ์ OLLAMA_MODELS ํ๊ฒฝ ๋ณ์๋ฅผ ์ค์ ํ์ฌ ์ ์ฅ ์์น๋ฅผ ๋ณ๊ฒฝํ ์ ์์ต๋๋ค.
Ollama ์ค์น ํ ๋ฌด์์ ํด์ผ ํฉ๋๊น?
Ollama๊ฐ ์คํ๋๋ฉด ๋ค์ ๋จ๊ณ๋ ์ฒซ ๋ฒ์งธ ๋ก์ปฌ LLM ์คํ์ผ๋ก ํ๋กฌํํ , ์ปจํ ์คํธ ๊ธธ์ด, ๋ก์ปฌ ์ถ๋ก ์๋์์ ๋ฌด์์ ๊ธฐ๋ํ ์ ์๋์ง ์ดํดํ๋ ๊ฒ์ ๋๋ค. ํ๋์จ์ด์ ์ ํฉํ ์ต๊ณ ์ ๋ชจ๋ธ์ ์ ํํ๋ ค๋ฉด ์ด๋ณด์๋ฅผ ์ํ ์ต๊ณ ์ ๋ก์ปฌ LLM ๋ชจ๋ธ์ ์ฐธ์กฐํ์ญ์์ค. ํฐ๋ฏธ๋ ๋์ ๊ทธ๋ํฝ ์ฑํ ์ธํฐํ์ด์ค๋ฅผ ์ ํธํ๋ ๊ฒฝ์ฐ LM Studio ์ค์น ๋ฐฉ๋ฒ์์ ๋ฐ์คํฌํฑ ์ฑ ๋์์ ๋ค๋ฃจ๊ณ ์์ต๋๋ค.
์ถ์ฒ
- Ollama ๊ณต์ ์น์ฌ์ดํธ -- ์ค์น ๋ค์ด๋ก๋ ๋ฐ ๊ณต์ ๋ฌธ์
- Ollama GitHub ์ ์ฅ์ -- ์์ค ์ฝ๋, ์ด์ ๋ฐ ์ปค๋ฎค๋ํฐ ํ ๋ก
- Ollama ๋ชจ๋ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ -- ๋ค์ด๋ก๋ ๋งํฌ๊ฐ ์๋ ์ฌ์ฉ ๊ฐ๋ฅํ ๋ชจ๋ธ์ ํ๋ ์ด์ ๋ ์ปฌ๋ ์
Ollama ์ค์น ์ ์ผ๋ฐ์ ์ธ ์ค์
- API๊ฐ ์๋ตํ ๊ฒ์ ๊ธฐ๋ํ๊ธฐ ์ ์ Ollama๊ฐ ๋ฐฑ๊ทธ๋ผ์ด๋ ์๋น์ค๋ก ์คํ ์ค์ธ์ง ํ์ธํ์ง ์๋ ๊ฒ.
- ๋จผ์ ๋ฉ๋ชจ๋ฆฌ ์๊ตฌ ์ฌํญ์ ํ์ธํ์ง ์๊ณ ์ฌ์ฉ ๊ฐ๋ฅํ RAM๋ณด๋ค ํฐ ๋ชจ๋ธ์ ์คํํ๋ ค๋ ๊ฒ.
- GPU ๊ฐ์ง๋ฅผ ๋ฌด์ํ๋ ๊ฒ -- Ollama๋ NVIDIA์ AMD๋ฅผ ์ง์ํ์ง๋ง ์ต์ ๋๋ผ์ด๋ฒ๊ฐ ํ์ํฉ๋๋ค.