LLaVA 리뷰(2026): 로컬 비전 AI의 시작을 연 연구 모델

역사: 연구 논문에서 로컬 AI 표준으로

LLaVA가 실제로 하는 일

• CLIP 인코더 플러스 LLM 디코더. LLaVA는 CLIP ViT-L/14 비전 인코더를 사용해 이미지를 일련의 시각적 특징으로 변환하고, 커넥터 모듈을 통해 이 특징들을 언어 모델의 텍스트 토큰과 동일한 임베딩 공간에 투영한 다음, 결합된 시퀀스를 Vicuna(Llama 2 기반) 또는 이후 버전에서는 Mistral이나 다른 기본 LLM에 입력하여 응답을 생성합니다.
• 시각적 지시 튜닝. 원시 이미지-캡션 쌍으로 훈련하는 대신, LLaVA는 LLaVA-Instruct-150K에서 미세 조정되었습니다. 이는 GPT-4에 이미지 캡션과 객체 감지 주석을 제시하여 생성한 다중 턴 시각 대화 데이터셋입니다——모델에게 단순히 캡션을 생성하는 것이 아니라 개방형 시각적 지시를 따르도록 가르칩니다.
• Ollama를 통한 세 가지 모델 크기. Ollama 라이브러리는 LLaVA를 7B(4.7GB), 13B(8.0GB), 34B(20GB) 크기로 패키징합니다——일반적으로 더 큰 모델일수록 더 상세하고 정확한 설명을 생성하지만, 더 많은 VRAM과 더 느린 추론을 대가로 합니다.
• LLaVA-1.6(LLaVA-NeXT)의 해상도 개선. Ollama와 공식 저장소를 통해 지원되는 현재 버전은 동적 패칭을 통해 더 높은 입력 해상도를 처리하며, 2023년 원본 릴리스에 비해 텍스트 읽기 및 세부 사항 작업이 눈에 띄게 향상되었습니다.
• 영어 중심 훈련. LLaVA-Instruct-150K와 이를 평가하는 데 사용된 기본 벤치마크는 대부분 영어이므로, 이미지 내 비영어 텍스트에 대한 기본 성능은 다국어 문서 데이터로 특별히 훈련된 모델보다 약합니다.

LLaVA 설치 및 실행: 단계별 안내

1. 1
   Ollama를 설치합니다.
   Why it matters: macOS, Linux, Windows용 [Ollama](https://ollama.com)를 다운로드하여 설치합니다. 이는 [Ollama 라이브러리 페이지](https://ollama.com/library/llava)에 따르면 LLaVA를 실행하는 공식적으로 명시된 방법이며, 2분도 채 걸리지 않습니다.
2. 2
   LLaVA 모델 크기를 다운로드합니다.
   Why it matters: 기본 7B 모델(~4.7GB)을 위해 `ollama pull llava`를 실행하거나, 더 높은 품질을 원하지만 더 많은 VRAM과 디스크 공간을 감수할 경우 `ollama pull llava:13b`(~8.0GB) 또는 `ollama pull llava:34b`(~20GB)를 실행합니다.
3. 3
   CLI에서 이미지와 함께 실행합니다.
   Why it matters: `ollama run llava "describe this image: ./photo.jpg"`를 실행하여 프롬프트 텍스트 내에서 로컬 이미지 파일 경로를 직접 참조합니다——별도의 플래그가 필요하지 않습니다.
4. 4
   (대안) 연구 수준의 제어를 위해 원본 저장소를 사용합니다.
   Why it matters: [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA)를 클론하고, `requirements.txt`를 설치하고, Hugging Face에서 체크포인트를 다운로드하여 훈련 스크립트, 평가 도구, Gradio 웹 데모에 완전히 접근합니다——연구나 미세 조정에는 유용하지만 Ollama보다 훨씬 높은 설치 장벽입니다.
5. 5
   (선택 사항) Ollama API를 통해 프로그래밍 방식으로 호출합니다.
   Why it matters: `images` 배열에 Base64로 인코딩된 문자열로 이미지를 담아 `http://localhost:11434/api/generate`에 POST 요청을 보내거나, 공식 `ollama` Python 또는 JavaScript 라이브러리를 사용합니다——아래 코드 예시를 참조하세요.

실제 사용 예시

• CLI 프롬프트에서 파일 경로를 참조하는 것만으로 충분합니다 — Ollama가 .jpg/.png 경로를 감지해 자동으로 이미지를 첨부합니다. 별도의 --image 플래그는 없습니다.
• 더 큰 모델 크기는 더 많은 VRAM과 시간을 소모합니다. 7B 모델은 가장 빠르고 VRAM 소비가 가장 적은 옵션입니다. 설명 정확도가 속도보다 더 중요할 때는 13B 또는 34B를 사용하세요.

# 설치 및 모델 다운로드
# (먼저 https://ollama.com 에서 Ollama를 다운로드하세요)
ollama pull llava

# CLI: 프롬프트에서 파일 경로를 참조하여 이미지 설명
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API(Ollama 자체 docs/api.md에 문서화됨) ---
# Base64로 인코딩된 이미지를 사용하는 /api/generate
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<Base64로 인코딩된 이미지 데이터>"]
}'

# Base64로 인코딩된 이미지를 사용하는 /api/chat(다중 턴 대화)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<Base64로 인코딩된 이미지 데이터>"] }
  ]
}'

# --- 공식 ollama 라이브러리를 사용한 Python 예시 ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

라이선스와 비용

LLaVA가 적합하지 않은 용도

• 순수 텍스트 작업. LLaVA는 비전-언어 모델입니다. 이미지가 관련되지 않은 순수 텍스트 대화에는 전용 텍스트 LLM(Ollama를 통하거나 다른 방식으로)을 사용하세요——텍스트 전용 채팅에 멀티모달 모델을 실행하면 아무런 이득 없이 비전 인코더가 차지하는 VRAM만 낭비하게 됩니다.
• 이용 가능한 가장 강력한 로컬 OCR이나 문서 이해가 필요한 경우. 2026년 기준, LLaVA-NeXT 이후에 출시된 모델——MiniCPM-V, Qwen2.5-VL, Llama 3.2 Vision——은 PromptQuorum의 로컬 비전 모델 비교에 따르면 문서 OCR, 표, 구조화된 추출에서 LLaVA를 능가합니다. LLaVA의 비전 인코더는 이 세대의 고해상도, 문서 중심 훈련 데이터가 존재하기 전에 설계되고 훈련되었습니다.
• 이미지 속 비영어 텍스트 읽기. LLaVA-Instruct-150K와 모델의 핵심 훈련 데이터는 대부분 영어입니다. 중국어, 일본어, 한국어 또는 기타 비라틴 문자 문서 OCR의 경우, 다국어 문서 코퍼스로 특별히 훈련된 모델(Qwen2.5-VL)이 눈에 띄게 더 우수한 성능을 보입니다.
• 차트와 그래프에서의 정밀한 수치 추출. 2026년 기준 거의 모든 로컬 비전-언어 모델과 마찬가지로, LLaVA는 복잡한 차트에서 정확한 값을 읽는 데 신뢰할 수 없습니다——사용하는 모델과 관계없이 추출된 수치는 항상 원본 데이터와 대조하여 확인하세요.
• 지속적인 활발한 개발을 가정하는 것. 공식 저장소에 2024년 5월 11일 이후 커밋이 없으므로, 원본 프로젝트로부터 새로운 기능, 버그 수정, 또는 더 최신 체크포인트를 기대하지 마세요——Ollama 자체의 멀티모달 엔진 업데이트와 더 새로운 모델 계열이 사실상 활발하게 개발되는 옵션으로서 이를 대체했습니다.
• 단일하고 간단한 라이선스 설명. 코드(Apache-2.0)와 공식적으로 발표된 체크포인트(Apache-2.0에 더해 상속된 Llama 2 커뮤니티 라이선스 조건, 그리고 프로젝트의 별개 홈페이지에 있는 더 엄격한 연구 전용 명시)가 완전히 정렬되지 않는 세 가지 중첩된 명시에 의해 지배되기 때문에, LLaVA는 Bark(완전히 MIT, 추가 조건 없음) 같은 프로젝트가 제공하는 한 줄로 정리되는 라이선스 명확성을 제공하지 않습니다.

LLaVA의 대안

자주 묻는 질문

결론

출처

• GitHub의 LLaVA — 공식 저장소: README, LICENSE, 설치 안내, 커밋 이력.
• "Visual Instruction Tuning" 논문(NeurIPS 2023) — 논문 링크, 라이선스 명시, 버전 이력이 포함된 프로젝트 홈페이지.
• Ollama의 LLaVA — 공식적으로 등재된 모델 페이지: 크기, 설명, 라이브러리 메타데이터.
• Ollama API 문서 — 멀티모달 모델을 위한 /api/generate 및 /api/chat 요청/응답 형식이 문서화된 자료.
• 로컬 비전 모델 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama 멀티모달 설정 — 현재 로컬 비전 모델 전반에 대한 PromptQuorum의 더 폭넓은 비교.

관련 읽을거리

• 로컬 비전 모델 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama 멀티모달 설정 — 이 리뷰가 LLaVA 특화 깊이로 보완하는 다중 모델 비교 허브.