로컬 비전 모델 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL 및 Ollama 멀티모달 설정 가이드

빠른 사실

• VLM의 역할: 이미지 + 텍스트를 입력으로 받아 텍스트를 출력합니다. 이미지 생성 모델이 아니라, 이미지를 *이해*하는 모델입니다.
• Ollama 지원: 이 비교의 모든 모델은 2026년 5월 기준으로 Ollama 공식 또는 커뮤니티 통합을 지원합니다.
• 가장 작은 사용 가능 모델: Moondream 2, 1.9B 파라미터, ~2 GB VRAM.
• 가장 큰 실용적 로컬 모델: Llama 3.2 Vision 90B, ~64 GB 통합 메모리 필요 (Apple M-series 또는 멀티 GPU).
• 이미지 입력 형식: JPEG, PNG, WebP 지원. 최대 해상도는 모델별로 다름 (일반적으로 1024×1024~4096×4096).
• OCR 정확도: Qwen3-VL 8B ≈ MiniCPM-V 4.5 > Llama 3.2 Vision 11B > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2.
• 멀티모달 ≠ 빠름: 비전 모델은 LLM에 시각 인코더를 추가하므로, 같은 파라미터 수의 텍스트 전용 모델보다 토큰 생성이 약 30~60% 느립니다.

비전-언어 모델(VLM)이란 무엇입니까?

• 이미지 생성 모델과의 차이: Stable Diffusion, FLUX, DALL-E 3는 텍스트에서 이미지를 생성하는 모델입니다. VLM은 이미지에서 텍스트를 생성하는 모델로, 이미지를 묘사하고 분석하며 질문에 답변합니다.
• 전통적인 OCR 도구와의 차이: 전통적인 OCR(Tesseract, PaddleOCR)은 패턴 인식으로 구조화된 문서에서 텍스트를 추출합니다. VLM은 문맥을 이해합니다 — 표의 의미를 설명하고, 차트에 대한 질문에 답하며, 사진의 객체를 식별할 수 있습니다.
• 로컬 실행의 이유: 개인 문서(의료 기록, 법적 문서, 재무제표), 독점적 스크린샷(내부 대시보드, 소스 코드), 또는 클라우드 API에 이미지를 전송하는 것이 컴플라이언스나 기밀 문제를 야기하는 모든 워크플로우.
• 할 수 없는 것: 이미지 생성, 스크린샷에 표시된 코드 실행, 인터넷 접속. VLM은 이미지에서 보이는 것을 기반으로 텍스트만 출력합니다.

로컬 비전 모델 비교표

실제 정확도 테스트: 청구서 추출

다중 이미지 지원

• MiniCPM-V 4.5은 프롬프트당 최대 4개 이미지를, Qwen3-VL은 최대 8개 이미지를 허용합니다. LLaVA와 Moondream은 요청당 이미지 1개만 허용합니다.
• 다중 이미지가 중요한 경우: 완전한 문서 추출을 위해 여러 페이지 PDF의 모든 페이지 전송. 두 제품 사진을 나란히 비교. 단일 프롬프트에서 변경 전/후 스크린샷 분석.

Ollama 설정 — 단계별 가이드

• 1단계 — Ollama 설치: macOS, Linux 또는 Windows용 파일을 ollama.com에서 다운로드하십시오. 설치에 2분 미만이 소요됩니다.
• 2단계 — 비전 모델 다운로드: ollama pull llama3.2-vision (11B, ~8 GB 다운로드) 또는 VRAM이 적은 경우 ollama pull moondream (1.9B, ~2 GB).
• 3단계 — CLI에서 사용: ollama run llama3.2-vision "이 이미지에 무엇이 있습니까?" --image /경로/사진.jpg
• 4단계 — HTTP API 사용: http://localhost:11434/api/generate에 POST 요청을 보내고 images 배열에 Base64 인코딩된 이미지 문자열을 포함시키십시오.
• 5단계 — Python 예제: Base64 인코딩과 함께 requests 라이브러리 사용 — 아래 코드 블록을 참조하십시오.

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# 사용 예시
result = ask_vision_model("청구서.png", "이 청구서에서 모든 항목과 합계를 추출하십시오.")
print(result)

활용 사례 1: OCR 및 문서 추출

• 잘 작동하는 경우: 스캔된 청구서, PDF 스크린샷, 인쇄체 손글씨 메모, 명확한 테두리가 있는 표, 명함.
• 잘 작동하지 않는 경우: 필기체 손글씨, 150 DPI 미만의 스캔, 과도한 압축 JPEG, 겹친 텍스트.
• OCR 최적 모델: MiniCPM-V 4.5 (6 GB 카테고리에서 최고 OCR 정확도), Llama 3.2 Vision 11B (혼합 문서 유형에 최적).
• OCR 프롬프트 엔지니어링: "줄바꿈을 유지하면서 이 문서의 모든 텍스트를 정확히 추출하십시오." 또는 "이 청구서의 내용을 다음 필드가 있는 JSON으로 반환하십시오: 공급업체, 날짜, 항목[], 합계."
• 전통적인 OCR 대비: VLM은 더 느리지만 더 의미론적입니다. Tesseract는 깨끗한 문서의 순수한 텍스트 추출에 더 빠릅니다. 단순 일반 텍스트가 아닌 구조화된 데이터 추출이 필요할 때 VLM을 사용하십시오.

활용 사례 2: 이미지 질의응답

• 장면 설명: "이 사진에 무엇이 있습니까?" — 객체, 사람, 활동, 환경, 분위기.
• 제품 카탈로그 작성: 프롬프트 템플릿으로 제품 사진 처리: "이 제품을 설명하십시오: 색상, 형태, 소재, 상태." 클라우드 API 없이 전자상거래 재고 관리에 유용.
• 접근성: 이미지에 대한 대체 텍스트를 대규모로 생성합니다. 표준 제품 사진의 접근성 컴플라이언스에 충분한 정확도를 제공합니다.
• 최적 모델: 일반 사진 질의응답에는 LLaVA 1.6 13B 또는 Llama 3.2 Vision 11B. 정확도보다 속도가 중요한 대량 처리에는 LLaVA 1.6 7B.
• 속도 고려사항: 6 GB GPU에서 Llama 3.2 Vision 11B Q4는 이미지 응답 생성 시 초당 약 8~12토큰을 생성합니다 — 100개 이미지 처리에 설명 길이에 따라 약 2~5분이 소요됩니다.

활용 사례 3: 스크린샷 및 UI 분석

• 개발자 워크플로우: 오류 메시지 스크린샷을 모델에 전송: "이 스크린샷에서 무엇이 잘못되었으며 어떻게 수정하겠습니까?"
• 버그 리포트 생성: 구조화된 프롬프트로 스크린샷에서 버그 설명을 자동 생성합니다.
• 대시보드 모니터링: 모니터링 대시보드 스크린샷에서 이상 징후 분석 — "이 Grafana 스크린샷에서 경고 수준에 있는 지표가 있습니까?"
• 접근성 테스트: UI 변경 전/후 스크린샷을 비교하여 시각적 접근성 속성을 확인합니다.
• 최적 모델: InternVL 2.5 8B (최고 UI 이해), MiniCPM-V 4.5 (두 번째 선택, Ollama 지원).

활용 사례 4: 차트 및 다이어그램 읽기

• 잘 작동하는 경우: 축 레이블 읽기, 추세 파악, 막대의 상대적 높이 비교, 명확한 폰트가 있는 표 값 읽기.
• 신뢰할 수 없는 경우: 연속형 차트에서의 정밀한 수치 추출 (예: "3분기 막대는 43.7 단위"), 명시적 레이블이 없는 파이 차트 백분율.
• 프롬프트 전략: "이 선형 차트에 표시된 추세를 설명하십시오"가 "2026년 3월의 정확한 값은 무엇입니까?"보다 효과적입니다.
• 차트 최적 모델: InternVL 2.5 (최고 차트 이해), Llama 3.2 Vision 11B (명확한 레이블이 있는 차트에 우수).
• 제한 사항 참고: 2026년의 어떤 로컬 VLM도 시각적으로 복잡한 차트에서 정밀한 숫자를 신뢰할 수 있게 추출하지 못합니다. 구조화된 차트 데이터가 필요하다면 가능한 경우 기본 데이터 소스에서 추출하십시오.

활용 사례 5: 동영상 프레임 분석

• 프레임 추출: ffmpeg으로 1fps 추출: ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg
• 프레임별 분석: 일관된 프롬프트로 각 프레임을 비전 모델에 실행 (예: "이 프레임에서 무슨 일이 일어나고 있는지 한 문장으로 설명하십시오").
• 프레임 간 요약: 모든 프레임 설명을 수집하여 요약 프롬프트와 함께 텍스트 LLM에 전달합니다.
• 활용 사례: 보안 카메라 검토 (비정상적인 활동이 있는 프레임 표시), 강의 녹화 분석 (슬라이드별 노트 생성), 제조 품질 검사 (결함이 나타나는 프레임 표시).
• 동영상 프레임 최적 모델: 품질에는 Llama 3.2 Vision 11B, 속도에는 LLaVA 1.6 7B (더 높은 프레임 처리량).
• 속도 현실: RTX 4070에서 1fps 추출과 프레임당 약 1초 추론으로, 10분 동영상의 완전한 처리에는 약 20~30분이 소요됩니다.

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "이 프레임에서 무슨 일이 일어나고 있는지 한 문장으로 설명하십시오.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("강의.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("
".join(f"[{i+1}초] {d}" for i, d in enumerate(descriptions)))

VRAM 및 실제 성능 확인

로컬 비전 모델 vs GPT-5.5 Vision 비교

• 구조화된 문서 (청구서, 양식): 로컬 모델이 GPT-5.5 품질의 80~90% — 깨끗하고 형식이 잘 된 문서에서 프로덕션 사용에 충분합니다.
• 복잡한 장면, 모호한 이미지: 로컬 모델이 GPT-5.5의 50~70% — 비정상적인 맥락, 조명 또는 모호한 내용이 있는 이미지에서 눈에 띄는 품질 격차.
• 손글씨 인식: 로컬 모델은 특히 필기체에서 크게 약합니다. GPT-5.5 Vision은 손글씨 처리가 실질적으로 더 우수합니다.
• 차트 데이터 추출: 로컬 모델과 GPT-5.5 모두에서 신뢰할 수 없지만, GPT-5.5는 정확한 수치에서 더 정확합니다.
• 비용: GPT-5.5 Vision이 이미지당 $0.01~0.03 vs 로컬에서 $0. 월 10,000개 이미지 = 로컬 모델로 $100~300 절약.
• 개인정보 보호: 로컬 모델은 기기 내에서 이미지를 처리하므로 데이터가 외부로 나가지 않습니다. GPT-5.5는 이미지를 OpenAI 서버로 전송합니다.
• 속도: 로컬 모델은 10~20 토큰/초 vs GPT-5.5의 30~80 토큰/초이지만, 배치 처리 시 로컬은 네트워크 지연이 없습니다.

LLaVA 심층 분석

• 아키텍처: CLIP ViT-L/14 시각 인코더 + Llama-2 또는 Mistral 텍스트 디코더, 단순한 선형 프로젝션 레이어로 연결.
• LLaVA 1.5 vs 1.6: 버전 1.6(2024년 초 출시)은 동적 패치를 통해 고해상도 입력 지원을 추가하여 OCR 정확도와 차트 읽기가 크게 향상되었습니다.
• 훈련: LLaVA-Instruct-150K에서 지시 튜닝 — 이미지 설명과 객체 감지 주석에서 생성된 시각적 대화 데이터셋.
• 강점: 광범위한 일반 지식, 잘 문서화됨, 대규모 커뮤니티, 광범위한 Ollama 통합.
• 약점: MiniCPM-V 4.5보다 약한 OCR, InternVL 2.5보다 약한 UI 분석, 품질 벤치마크에서 Llama 3.2 Vision 11B에 전반적으로 뒤처짐.
• 여전히 권장되는 이유: LLaVA 1.6은 모든 로컬 VLM 중에서 가장 큰 커뮤니티, 가장 많은 튜토리얼, 가장 많은 프롬프트 예제를 보유하고 있습니다. 문제가 있을 경우 도움을 찾기가 더 쉽습니다.

Qwen3-VL — 최고의 다국어 OCR 및 문서 성능

• 아키텍처: 최대 4096×4096의 동적 해상도 지원 — LLaVA 1.6(672×672)이나 Llama 3.2 Vision(1120×1120)보다 크게 높습니다. 이를 통해 다운샘플링 없이 고DPI 스캔을 읽을 수 있습니다.
• 다국어 OCR: 중국어, 일본어, 한국어, 영어에서 동급 최고 성능. 훈련 데이터에 대규모 다국어 문서 코퍼스가 포함되어 영어 이외의 문서에서 LLaVA 및 Llama 3.2 Vision 대비 상당한 이점을 제공합니다.
• 7B vs 72B: 7B는 ~6 GB VRAM(Q4)에 맞으며 대부분의 문서 작업에서 Llama 3.2 Vision 11B와 경쟁합니다. 72B는 ~48 GB를 사용하며 대부분의 오픈소스 벤치마크를 선도합니다.
• Ollama 설치: ollama pull qwen3-vl:7b — Ollama 모델 라이브러리에서 직접 사용 가능.
• 다중 이미지 지원: 요청당 최대 8개 이미지 허용 — 이 비교의 모든 모델 중 가장 높은 다중 이미지 용량.
• 모델 페이지: Qwen3-VL 8B on Hugging Face

비전 모델 선택 방법

• VRAM 4 GB 미만: Moondream 2 (1.9B) — 2 GB에서 유일한 실용적 옵션. Moondream 2 이상으로는 PaliGemma 2 (3B)와 SmolVLM (2.2B)이 실용적인 대안입니다. PaliGemma 2는 약간 추가 VRAM (~3 GB) 비용으로 Moondream보다 더 나은 문서 이해를 제공합니다. SmolVLM은 극단적인 효율성을 위해 품질을 희생합니다. 빽빽한 텍스트 OCR에는 적합하지 않습니다.
• VRAM 6 GB: 문서 OCR 및 청구서 처리에는 MiniCPM-V 4.5. 커뮤니티 지원이 중요한 일반 사진 질의응답에는 LLaVA 1.6 7B. 다국어 OCR 또는 가능한 가장 높은 OCR 정확도가 필요할 때는 Qwen3-VL 8B.
• VRAM 8~16 GB: Llama 3.2 Vision 11B가 명확한 권장 사항 — 이 VRAM 카테고리에서 전반적인 최고 품질, 광범위한 Ollama 지원.
• VRAM 16+ GB: LLaVA 1.6 13B는 7B 변형 대비 복잡한 장면 이해에 더 많은 용량을 추가합니다. UI 스크린샷 또는 코드가 주요 활용 사례라면 InternVL 2.5 8B.
• 통합 메모리 64+ GB (Apple M-Max/Ultra, 멀티 GPU): 사용 가능한 최고 로컬 VLM 품질을 위해 Llama 3.2 Vision 90B — 문서 작업에서 클라우드 수준 성능에 근접. Qwen3-VL 72B는 최고의 오픈소스 벤치마크 점수를 보유한 대안.
• 항상 숫자를 확인하십시오: 모델에 관계없이 차트나 표에서 추출한 수치는 원본 데이터와 대조하여 확인하십시오. 로컬 VLM은 시각적 차트에서 정확한 수치를 환각합니다.

자주 묻는 질문

출처

• LLaVA 프로젝트 페이지 — LLaVA 1.5 및 1.6 모델 카드, 아키텍처 세부 사항, 훈련 데이터셋 설명.
• Llama 3.2 Vision on Hugging Face — Meta의 공식 모델 출시, 모델 카드, 벤치마크 수치.
• MiniCPM-V 4.5 on Hugging Face — OpenBMB 모델 카드, OCR 벤치마크, 파인튜닝 지침.
• Moondream on GitHub — 아키텍처 설명, 추론 스크립트, 모델 다운로드.
• InternVL 2.5 on Hugging Face — OpenGVLab 모델 카드, 문서 및 UI 작업 벤치마크 점수.
• Ollama 문서 — 비전 모델 지원, API 참조, 모델 라이브러리.
• Qwen3-VL on Hugging Face — Alibaba Qwen3-VL 모델 카드, 아키텍처 세부 사항, 다국어 OCR 벤치마크.
• PaliGemma 2 on Hugging Face — Google PaliGemma 2 3B 모델 카드.
• SmolVLM on Hugging Face — HuggingFace SmolVLM 모델 카드 및 추론 지침.

관련 자료

• 로컬 멀티모달 AI 파이프라인 2026 — 비전 모델을 STT 및 TTS와 결합하여 완전한 로컬 멀티모달 스택 구성.
• 로컬 음성 인식 2026: Whisper.cpp vs faster-whisper — 비전 출력을 보완하기 위해 음성 입력 추가.
• 로컬 TTS 및 음성 복제 2026 — VLM 응답을 소리내어 읽기 위한 음성 출력 추가.
• Ollama 설치 방법 — 필수 조건: Ollama 설정 및 설치.
• 로컬 LLM 하드웨어 가이드 2026 — 비전 모델 추론을 위한 VRAM 및 RAM 요구 사항.