Ollama 비전 모델(2026): 이미지 모델을 로컬에서 실제로 실행하는 방법

역사: Ollama, llama.cpp, 그리고 멀티모달 지원

Ollama 라이브러리에 실제로 있는 비전 모델

비전 모델 다운로드 및 실행: 단계별 가이드

1. 1
   Ollama를 설치한다.
   Why it matters: macOS, Linux, Windows용 [Ollama](https://ollama.com)를 다운로드한다. 설치는 표준 설치 프로그램/패키지 형태이며 2분이 채 걸리지 않는다.
2. 2
   비전 모델을 다운로드한다.
   Why it matters: `ollama pull llava`(또는 `ollama pull qwen2.5vl`, `ollama pull minicpm-v` 등)를 실행한다 — 이렇게 하면 모델 가중치가 다운로드되며, 크기는 2GB 미만(Moondream)에서 수십 GB(Llama 4)까지 다양하다.
3. 3
   프롬프트에 이미지를 지정하여 실행한다.
   Why it matters: `ollama run llava "describe this image: ./photo.jpg"`를 실행한다. Ollama는 프롬프트 텍스트 안의 `.jpg`/`.png` 파일 경로를 감지하여 자동으로 이미지를 첨부한다 — 이 방식은 2023년 12월 v0.1.15 이후 계속 작동해왔다.
4. 4
   또는 HTTP API를 직접 호출한다.
   Why it matters: `http://localhost:11434/api/generate` 또는 `/api/chat`에 base64로 인코딩된 이미지를 `images` 배열에 담아 POST 요청을 보낸다 — 정확한 JSON 형식은 Ollama 자체의 [docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md)에 문서화되어 있으며, 아래 사용 예시 섹션에서도 보여준다.
5. 5
   (선택 사항) 공식 클라이언트 라이브러리를 사용한다.
   Why it matters: 공식 `ollama` Python 및 JavaScript 라이브러리는 이미지 파일 경로를 직접 받아들이고 base64 인코딩을 대신 처리해주므로, 스크립트에서 수동으로 인코딩할 필요가 없다.

실제 사용 예시: CLI와 HTTP API

• CLI에는 별도의 이미지 플래그가 없다. Ollama는 프롬프트 텍스트 자체에 포함된 .jpg/.png 등의 파일 경로를 감지하여 자동으로 첨부한다.
• /api/generate는 prompt를 사용하고, /api/chat은 messages를 사용한다.** 둘 다 base64로 인코딩된 문자열의 images 배열을 받으며, /api/chat은 개별 메시지에 이미지를 첨부한 멀티턴 대화를 지원한다.

# CLI로 다운로드하고 실행 — 프롬프트에 이미지 경로를 직접 지정
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API: /api/generate (Ollama의 docs/api.md에 문서화됨) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<base64-encoded image data>"]
}'

# --- HTTP API: /api/chat (멀티턴, 마찬가지로 docs/api.md에 문서화됨) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<base64-encoded image data>"] }
  ]
}'

# --- Python: 공식 ollama 라이브러리 (base64 인코딩을 대신 처리) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: 수동 base64 인코딩을 사용한 원시 HTTP API 호출 ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

VRAM 및 하드웨어 가이드

Ollama가 적합하지 않은 경우

• 모델 파인튜닝이나 학습. Ollama는 추론 전용이다 — 학습된 모델 가중치를 실행할 뿐, 학습이나 파인튜닝 파이프라인을 제공하지 않는다. 자체 데이터로 비전 언어 모델을 파인튜닝해야 한다면, 원본 LLaVA 저장소 자체의 학습 스크립트나 Hugging Face Transformers 같은 프레임워크 등 별도의 도구 체인이 필요하다.
• 최첨단 독점 멀티모달 성능. Ollama의 라이브러리는 오픈 웨이트 모델을 중심으로 구축되어 있다. 본 리뷰 작성 시점 기준, GPT-4o, Claude, Gemini의 클라우드 비전 API는 복잡한 장면 이해, 손글씨 인식, 모호한 이미지 처리에서 일반적으로 오픈된 로컬 모델을 앞선다 — Ollama는 이미지당 한계 비용 제로로 프라이빗하게 자체 호스팅하는 용도에 적합하며, 절대적인 최첨단 성능을 따라잡기 위한 도구는 아니다.
• 차트와 그래프에서의 정확한 수치 추출. 이는 Ollama라는 실행 도구 자체의 한계가 아니라 기반이 되는 비전 언어 모델 자체의 한계다 — 어떤 모델이나 실행 도구를 사용하든 추출한 수치는 항상 원본 데이터와 대조 확인해야 한다.
• "어떤 모델이 최고인가"에 대한 단일한 답. Ollama에서 어떤 비전 모델이 적합한지는 작업에 따라 다르다: OCR 비중이 높은 문서 작업에는 Qwen2.5-VL, 낮은 VRAM에서의 OCR에는 MiniCPM-V, 범용 이미지 질의응답에는 Llama 3.2 Vision, 가장 가벼운 용도에는 Moondream이 적합하다. 작업별 세부 지침은 PromptQuorum의 로컬 비전 모델 비교를 참고하라.

Ollama 비전 모델의 대안

자주 묻는 질문

결론

출처

• GitHub의 Ollama — 저장소 생성일, 라이선스, 릴리스 이력.
• Ollama v0.1.15 릴리스 노트 — 2023년 12월 12일, 멀티모달/LLaVA 지원에 대한 최초 발표.
• 멀티모달 모델을 위한 Ollama의 새 엔진 — 2026년 5월의 멀티모달 엔진 재구축, Llama 4, Gemma 3, Qwen2.5-VL, Mistral Small 3.1을 다룸.
• Ollama API 문서 — 이미지에 대한 /api/generate 및 /api/chat의 문서화된 요청/응답 형식.
• Ollama 모델 라이브러리 — 본 글에 나열된 모든 모델을 확인하는 데 사용한 실시간 라이브러리이며, llava, llama3.2-vision, qwen2.5vl, minicpm-v, moondream, granite3.2-vision, gemma3, llama4, mistral-small3.1의 개별 페이지를 포함한다.

관련 읽을거리

• LLaVA 리뷰(2026) — LLaVA 자체를 심층적으로 다룬 리뷰로, 역사와 라이선스 관련 세부 사항을 포함한다.
• 로컬 비전 모델 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama 멀티모달 설정 — 현재의 로컬 비전 모델 전반을 작업별로 폭넓게 비교한다.
• Ollama 최신 버전 2026: v0.33.1 + 용도별 추천 모델 — 비전 이외 영역까지 포함한 Ollama의 더 넓은 모델 카탈로그와 인기 텍스트 모델.