최고의 로컬 비전 모델 2026: Gemma 4, Qwen3-VL, LLaVA 및 Ollama 멀티모달 설정 가이드

빠른 사실

• VLM의 역할: 이미지 + 텍스트를 입력으로 받아 텍스트를 출력합니다. 이미지 생성 모델이 아니라, 이미지를 *이해*하는 모델입니다.
• Ollama 지원: Gemma 4, Qwen3.8, Qwen3.5, Qwen3-VL, Llama 3.2 Vision, MiniCPM-V, LLaVA, Moondream은 Ollama 공식 라이브러리에 있으며, InternVL, PaliGemma 2, SmolVLM은 커뮤니티 빌드가 필요합니다.
• 가장 작은 사용 가능 모델: Moondream 2 (1.8B, 다운로드 1.7 GB), Qwen3-VL 2B (1.9 GB), Qwen3.5 0.8B (1.2–1.3 GB).
• 가장 큰 실용적 로컬 모델: 64 GB 이상 통합 메모리(Apple M-series 또는 멀티 GPU)에서 Qwen3.5 122B (81 GB)와 Llama 3.2 Vision 90B (55 GB). Qwen3-VL 235B는 143 GB가 필요합니다.
• 이미지 입력 형식: JPEG, PNG, WebP 지원. 최대 해상도는 모델별로 다름 (일반적으로 1024×1024~4096×4096).
• 오디오 및 동영상: Gemma 4 E2B, E4B, 12B는 오디오도 입력받으며, 모든 Gemma 4 크기와 Qwen3.8은 동영상을 프레임으로 처리합니다.
• OCR 정확도: Qwen3.8 27B ≈ Qwen3-VL 8B ≈ Qwen3.5 9B > Gemma 4 > MiniCPM-V > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2.
• 멀티모달 ≠ 빠름: 비전 모델은 LLM에 시각 인코더를 추가하므로, 같은 파라미터 수의 텍스트 전용 모델보다 토큰 생성이 약 30~60% 느립니다.

비전-언어 모델(VLM)이란 무엇입니까?

• 이미지 생성 모델과의 차이: Stable Diffusion, FLUX, DALL-E 3는 텍스트에서 이미지를 생성하는 모델입니다. VLM은 이미지에서 텍스트를 생성하는 모델로, 이미지를 묘사하고 분석하며 질문에 답변합니다.
• 전통적인 OCR 도구와의 차이: 전통적인 OCR(Tesseract, PaddleOCR)은 패턴 인식으로 구조화된 문서에서 텍스트를 추출합니다. VLM은 문맥을 이해합니다 — 표의 의미를 설명하고, 차트에 대한 질문에 답하며, 사진의 객체를 식별할 수 있습니다.
• 로컬 실행의 이유: 개인 문서(의료 기록, 법적 문서, 재무제표), 독점적 스크린샷(내부 대시보드, 소스 코드), 또는 클라우드 API에 이미지를 전송하는 것이 컴플라이언스나 기밀 문제를 야기하는 모든 워크플로우.
• 할 수 없는 것: 이미지 생성, 스크린샷에 표시된 코드 실행, 인터넷 접속. VLM은 이미지에서 보이는 것을 기반으로 텍스트만 출력합니다.

로컬 비전 모델 비교표

예시 비교: 청구서 추출

다중 이미지 지원

• MiniCPM-V는 프롬프트당 최대 4개 이미지를, Qwen3-VL은 최대 8개 이미지를 허용합니다. LLaVA와 Moondream은 요청당 이미지 1개만 허용합니다.
• 다중 이미지가 중요한 경우: 완전한 문서 추출을 위해 여러 페이지 PDF의 모든 페이지 전송. 두 제품 사진을 나란히 비교. 단일 프롬프트에서 변경 전/후 스크린샷 분석.

Ollama 설정 — 단계별 가이드

• 1단계 — Ollama 설치: macOS, Linux 또는 Windows용 파일을 ollama.com에서 다운로드하십시오. 설치에 2분 미만이 소요됩니다.
• 2단계 — 비전 모델 다운로드: 8 GB 그래픽카드에는 ollama pull gemma4:e4b (다운로드 6.6–9.5 GB), OCR에는 ollama pull qwen3-vl:8b (6.2 GB), VRAM이 적은 환경에는 ollama pull moondream (1.8B, 1.7 GB).
• 3단계 — CLI에서 사용: ollama run gemma4:e4b "What is in this image? /path/to/photo.jpg" — 이미지 경로를 프롬프트 안에 넣으십시오. ollama run에는 --image 플래그가 없습니다.
• 4단계 — HTTP API 사용: http://localhost:11434/api/generate에 POST 요청을 보내고 images 배열에 Base64 인코딩된 이미지 문자열을 포함시키십시오. format 필드에 JSON 스키마를 추가하면 구조화된 출력을 받을 수 있습니다.
• 5단계 — Python 예제: Base64 인코딩과 함께 requests 라이브러리 사용 — 아래 코드 블록을 참조하십시오.

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "gemma4:e4b") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# 사용 예시
result = ask_vision_model("청구서.png", "이 청구서에서 모든 항목과 합계를 추출하십시오.")
print(result)

활용 사례 1: OCR 및 문서 추출

• 잘 작동하는 경우: 스캔된 청구서, PDF 스크린샷, 인쇄체 손글씨 메모, 명확한 테두리가 있는 표, 명함.
• 잘 작동하지 않는 경우: 필기체 손글씨, 150 DPI 미만의 스캔, 과도한 압축 JPEG, 겹친 텍스트.
• OCR 최적 모델: Qwen3-VL 8B와 Qwen3.5 9B (6~8 GB 급), Qwen3.8 27B (18 GB, 모델 카드 기준 OmniDocBench 1.5에서 91.1), 혼합 문서 유형에는 Gemma 4.
• OCR 프롬프트 엔지니어링: "줄바꿈을 유지하면서 이 문서의 모든 텍스트를 정확히 추출하십시오." 또는 "이 청구서의 내용을 다음 필드가 있는 JSON으로 반환하십시오: 공급업체, 날짜, 항목[], 합계."
• 전통적인 OCR 대비: VLM은 더 느리지만 더 의미론적입니다. Tesseract는 깨끗한 문서의 순수한 텍스트 추출에 더 빠릅니다. 단순 일반 텍스트가 아닌 구조화된 데이터 추출이 필요할 때 VLM을 사용하십시오.

활용 사례 2: 이미지 질의응답

• 장면 설명: "이 사진에 무엇이 있습니까?" — 객체, 사람, 활동, 환경, 분위기.
• 제품 카탈로그 작성: 프롬프트 템플릿으로 제품 사진 처리: "이 제품을 설명하십시오: 색상, 형태, 소재, 상태." 클라우드 API 없이 전자상거래 재고 관리에 유용.
• 접근성: 이미지에 대한 대체 텍스트를 대규모로 생성합니다. 표준 제품 사진의 접근성 컴플라이언스에 충분한 정확도를 제공합니다.
• 최적 모델: 일반 사진 질의응답에는 Gemma 4 12B 또는 26B A4B. 정확도보다 속도가 중요한 대량 처리에는 Qwen3.5 4B 또는 LLaVA 1.6 7B.
• 속도 고려사항: 속도는 모델, GPU, 설명 길이에 따라 달라집니다 — 수천 건을 일괄 처리하기 전에 사용 중인 하드웨어에서 이미지 20장 샘플로 먼저 벤치마크하십시오.

활용 사례 3: 스크린샷 및 UI 분석

• 개발자 워크플로우: 오류 메시지 스크린샷을 모델에 전송: "이 스크린샷에서 무엇이 잘못되었으며 어떻게 수정하겠습니까?"
• 버그 리포트 생성: 구조화된 프롬프트로 스크린샷에서 버그 설명을 자동 생성합니다.
• 대시보드 모니터링: 모니터링 대시보드 스크린샷에서 이상 징후 분석 — "이 Grafana 스크린샷에서 경고 수준에 있는 지표가 있습니까?"
• 접근성 테스트: UI 변경 전/후 스크린샷을 비교하여 시각적 접근성 속성을 확인합니다.
• 최적 모델: InternVL 2.5 8B (커뮤니티 빌드, UI에 강함), Gemma 4와 Qwen3-VL (Ollama 공식 지원, 에이전트 워크플로우용 도구 호출).

활용 사례 4: 차트 및 다이어그램 읽기

• 잘 작동하는 경우: 축 레이블 읽기, 추세 파악, 막대의 상대적 높이 비교, 명확한 폰트가 있는 표 값 읽기.
• 신뢰할 수 없는 경우: 연속형 차트에서의 정밀한 수치 추출 (예: "3분기 막대는 43.7 단위"), 명시적 레이블이 없는 파이 차트 백분율.
• 프롬프트 전략: "이 선형 차트에 표시된 추세를 설명하십시오"가 "2026년 3월의 정확한 값은 무엇입니까?"보다 효과적입니다.
• 차트 최적 모델: InternVL 2.5 (강력한 차트 이해), Gemma 4와 Qwen3-VL (명확한 레이블이 있는 차트에 우수).
• 제한 사항 참고: 2026년의 어떤 로컬 VLM도 시각적으로 복잡한 차트에서 정밀한 숫자를 신뢰할 수 있게 추출하지 못합니다. 구조화된 차트 데이터가 필요하다면 가능한 경우 기본 데이터 소스에서 추출하십시오.

활용 사례 5: 동영상 프레임 분석

• 프레임 추출: ffmpeg으로 1fps 추출: ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg
• 프레임별 분석: 일관된 프롬프트로 각 프레임을 비전 모델에 실행 (예: "이 프레임에서 무슨 일이 일어나고 있는지 한 문장으로 설명하십시오").
• 프레임 간 요약: 모든 프레임 설명을 수집하여 요약 프롬프트와 함께 텍스트 LLM에 전달합니다.
• 활용 사례: 보안 카메라 검토 (비정상적인 활동이 있는 프레임 표시), 강의 녹화 분석 (슬라이드별 노트 생성), 제조 품질 검사 (결함이 나타나는 프레임 표시).
• 동영상 프레임 최적 모델: 품질에는 Gemma 4 또는 Qwen3.8 (둘 다 동영상을 프레임으로 기본 처리), 속도에는 Qwen3.5 4B 또는 LLaVA 1.6 7B (더 높은 프레임 처리량).
• 속도 현실: 1fps 추출과 프레임당 약 1~3초 추론 기준으로, 10분 동영상(600프레임)의 처리에는 모델과 GPU에 따라 대략 10~30분이 소요됩니다.

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "gemma4:e4b") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "이 프레임에서 무슨 일이 일어나고 있는지 한 문장으로 설명하십시오.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("강의.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("
".join(f"[{i+1}초] {d}" for i, d in enumerate(descriptions)))

VRAM 및 실제 성능 확인

로컬 비전 모델 vs GPT-5.5 Vision 비교

• 구조화된 문서 (청구서, 양식): 측정한 벤치마크가 아닌 편집부의 판단입니다. 우수한 로컬 모델은 깨끗하고 형식이 잘 갖춰진 문서에서 GPT-5.5 Vision에 근접하며, 출력을 검증한다면 프로덕션 사용에 충분합니다.
• 복잡한 장면, 모호한 이미지: 비정상적인 맥락, 어려운 조명 또는 모호한 내용의 이미지에서는 로컬 모델이 GPT-5.5 Vision에 눈에 띄게 뒤처집니다(편집부 판단이며 측정값이 아닙니다).
• 손글씨 인식: 로컬 모델은 특히 필기체에서 크게 약합니다. GPT-5.5 Vision은 손글씨 처리가 실질적으로 더 우수합니다.
• 차트 데이터 추출: 로컬 모델과 GPT-5.5 모두에서 신뢰할 수 없지만, GPT-5.5는 정확한 수치에서 더 정확합니다.
• 비용: GPT-5.5 Vision이 이미지당 $0.01~0.03 vs 로컬에서 $0. 월 10,000개 이미지 = 로컬 모델로 $100~300 절약.
• 개인정보 보호: 로컬 모델은 기본적으로 기기 내에서 이미지를 처리하므로, 클라우드 기능이나 연결형 도구를 켜지 않는 한 이미지가 클라우드 API로 전송되지 않습니다. GPT-5.5는 이미지를 OpenAI 서버로 전송합니다.
• 속도: 로컬 모델은 RTX 4070에서 크기에 따라 대략 8~35 토큰/초를 냅니다(참고용 추정치, 위 표 참조). 클라우드 속도는 제공업체와 부하에 따라 달라지지만, 배치 처리 시 로컬은 네트워크 지연이 없습니다.

LLaVA 심층 분석

• 아키텍처: CLIP ViT-L/14 시각 인코더 + Llama-2 또는 Mistral 텍스트 디코더, 단순한 선형 프로젝션 레이어로 연결.
• LLaVA 1.5 vs 1.6: 버전 1.6(2024년 초 출시)은 동적 패치를 통해 고해상도 입력 지원을 추가하여 OCR 정확도와 차트 읽기가 크게 향상되었습니다.
• 훈련: LLaVA-Instruct-150K에서 지시 튜닝 — 이미지 설명과 객체 감지 주석에서 생성된 시각적 대화 데이터셋.
• 강점: 광범위한 일반 지식, 잘 문서화됨, 대규모 커뮤니티, 광범위한 Ollama 통합.
• 약점: Qwen3-VL 및 MiniCPM-V보다 약한 OCR, InternVL 2.5보다 약한 UI 분석, 전반적으로 Gemma 4와 Qwen3 계열에 뒤처짐.
• 여전히 권장되는 이유: LLaVA 1.6은 모든 로컬 VLM 중에서 가장 큰 커뮤니티, 가장 많은 튜토리얼, 가장 많은 프롬프트 예제를 보유하고 있습니다. 문제가 있을 경우 도움을 찾기가 더 쉽습니다.
• 전체 리뷰: LLaVA 리뷰(2026) — Apache-2.0과 기본 모델 라이선스의 미묘한 차이, 실제 Ollama 명령어를 다루는 PromptQuorum의 전용 리뷰.

Qwen3-VL, Qwen3.5, Qwen3.8 — 최고의 다국어 OCR 및 문서 성능

• 아키텍처: 최대 4096×4096의 동적 해상도 지원 — LLaVA 1.6(672×672)이나 Llama 3.2 Vision(1120×1120)보다 크게 높습니다. 이를 통해 다운샘플링 없이 고DPI 스캔을 읽을 수 있습니다.
• 다국어 OCR: 중국어, 일본어, 한국어, 영어에서 동급 최고 성능. 훈련 데이터에 대규모 다국어 문서 코퍼스가 포함되어 영어 이외의 문서에서 LLaVA 및 Llama 3.2 Vision 대비 상당한 이점을 제공합니다.
• 크기 선택: Qwen3-VL 8B는 6.2 GB 다운로드로 8 GB 그래픽카드에 적합하고, Qwen3.5 9B는 6.6–7.6 GB, Qwen3.8 27B는 18 GB로 24 GB 카드가 필요하며, Qwen3-VL 32B는 21 GB입니다. Ollama에는 Qwen3-VL 72B 변형이 없습니다.
• Qwen3-VL 4B: 다운로드 3.3 GB(256K 컨텍스트)로, VRAM 약 4–6 GB 카드를 위한 2B(1.9 GB)와 8B(6.2 GB) 사이의 중간 선택지입니다.
• Ollama 설치: ollama pull qwen3-vl:8b, ollama pull qwen3.5:9b 또는 ollama pull qwen3.8 — 모두 Ollama 모델 라이브러리에서 사용 가능.
• 다중 이미지 지원: 요청당 최대 8개 이미지 허용 — 이 비교의 모든 모델 중 가장 높은 다중 이미지 용량.
• 모델 페이지: Qwen3-VL on Ollama, Qwen3.8-27B on Hugging Face

비전 모델 선택 방법

• VRAM 4 GB 미만: Qwen3.5 2B (2.7–3.1 GB), Qwen3-VL 2B (1.9 GB) 또는 Moondream 2 (1.7 GB)가 실용적인 옵션입니다. PaliGemma 2 (3B)와 SmolVLM (2.2B)은 커뮤니티 빌드 대안입니다. 빽빽한 텍스트 OCR에는 적합하지 않습니다.
• VRAM 6~8 GB: 일반 사진 질의응답에는 Gemma 4 E4B, 문서 OCR과 다국어 텍스트에는 Qwen3-VL 8B 또는 Qwen3.5 9B, 커뮤니티 지원이 중요하다면 LLaVA 1.6 7B.
• VRAM 12~16 GB: Gemma 4 12B(다운로드 7.7–8.0 GB)가 명확한 권장 사항 — 크기 대비 강력한 비전 점수에 오디오 입력과 256K 컨텍스트 윈도우를 갖췄습니다. LLaVA 1.6 13B와 InternVL 2.5 8B(UI 및 코드 스크린샷)도 사용할 수 있습니다.
• VRAM 24 GB: Gemma 4 26B A4B (16–19 GB), Gemma 4 31B (19–20 GB), Qwen3.8 27B (18 GB) 또는 Qwen3-VL 32B (21 GB) — 클라우드 수준 비전 품질에 가장 가까운 로컬 옵션.
• 통합 메모리 64+ GB (Apple M-Max/Ultra, 멀티 GPU): 가장 큰 로컬 모델인 Qwen3.5 122B (81 GB) 또는 Llama 3.2 Vision 90B (55 GB). 둘 다 대용량 메모리 하드웨어가 필요하며 24 GB 급 모델보다 토큰당 속도가 느립니다.
• 항상 숫자를 확인하십시오: 모델에 관계없이 차트나 표에서 추출한 수치는 원본 데이터와 대조하여 확인하십시오. 로컬 VLM은 시각적 차트에서 정확한 수치를 환각합니다.

자주 묻는 질문

출처

• Gemma 4 model card on Hugging Face — Google의 Apache 2.0 라이선스, 크기별 지원 모달리티, MMMU Pro 결과.
• Gemma 4 on Ollama — 태그, 다운로드 크기, 컨텍스트 윈도우.
• Qwen3.8-27B on Hugging Face — Apache 2.0 라이선스, 262K 컨텍스트, OmniDocBench 1.5 결과.
• Qwen3.5 on Ollama 및 Qwen3-VL on Ollama — 크기와 다운로드 크기.
• Llama 3.2 Vision on Ollama 및 Ollama issue #16547 — 라이브러리 목록과 보고된 mllama 로드 오류.
• LLaVA 프로젝트 페이지 — LLaVA 1.5 및 1.6 모델 카드, 아키텍처 세부 사항, 훈련 데이터셋 설명.
• MiniCPM-V on Ollama 및 OpenBMB on Hugging Face — 모델 카드와 OCR 벤치마크.
• Moondream on Ollama 및 Moondream on GitHub — 모델 다운로드와 추론 스크립트.
• InternVL 2.5 on Hugging Face — OpenGVLab 모델 카드, 문서 및 UI 작업 벤치마크 점수.
• Ollama 문서 — 비전 모델 지원, 구조화된 출력, API 참조, 모델 라이브러리.
• PaliGemma 2 on Hugging Face — Google PaliGemma 2 3B 모델 카드.
• SmolVLM on Hugging Face — HuggingFace SmolVLM 모델 카드 및 추론 지침.
• llama.cpp 멀티모달 문서 — 지원되는 비전 모델과 llama-server 사용법.
• vLLM 지원 모델 — vLLM이 제공할 수 있는 멀티모달 아키텍처.
• Ollama의 Gemma 4 태그 — q4_K_M, q8_0, bf16, QAT, MLX 빌드 크기.

관련 자료

• Ollama 모델 중 비전을 지원하는 것은? — 이미지를 입력받는 Ollama 라이브러리 모델과 VRAM 사양에 대한 빠른 답변.
• Ollama 비전 모델(2026) — Ollama로 비전 모델을 실행하는 실용적이고 집중적인 가이드: 실제 CLI/API 문법과 라이브러리에 실제로 있는 모델.
• 카메라와 드론의 VLM 2026 -- 데스크톱 VLM 기초는 여기에서 다룹니다. 임베디드 카메라·드론 배포는 이 엣지 전용 가이드를 참고하세요.
• 로컬 멀티모달 AI 파이프라인 2026 — 비전 모델을 STT 및 TTS와 결합하여 완전한 로컬 멀티모달 스택 구성.
• 로컬 음성 인식 2026: Whisper.cpp vs faster-whisper — 비전 출력을 보완하기 위해 음성 입력 추가.
• 로컬 TTS 및 음성 복제 2026 — VLM 응답을 소리내어 읽기 위한 음성 출력 추가.
• Ollama 설치 방법 — 필수 조건: Ollama 설정 및 설치.
• 로컬 LLM 하드웨어 가이드 — 비전 모델 추론을 위한 VRAM 및 RAM 요구 사항.