방화벽 뒤 로컬 AI: 2026 오프라인 배포 가이드

사전 체크리스트 — 연결 해제 전 다운로드

1. 1
   Ollama 바이너리 — 운영 체제(Linux x86_64, macOS arm64, Windows)에 맞는 버전을 ollama.com에서 다운로드하십시오. ≥0.3.0 버전을 권장합니다.
2. 2
   모델 GGUF 파일 — 연결된 기기에서 ollama pull qwen2.5:14b-instruct-q4_K_M을 실행하십시오. 모델은 ~/.ollama/models/에 캐시됩니다.
3. 3
   토크나이저 + 채팅 템플릿 — Ollama 사용 시 모델 매니페스트와 함께 포함되므로 별도 다운로드가 필요하지 않습니다.
4. 4
   llama.cpp 바이너리 (llama.cpp 사용 시) — github.com/ggerganov/llama.cpp/releases에서 사전 컴파일된 릴리스를 다운로드하십시오.
5. 5
   임베딩 모델 (오프라인 RAG용) — ollama pull nomic-embed-text 또는 mxbai-embed-large
6. 6
   벡터 데이터베이스 바이너리 (오프라인 RAG용) — Chroma standalone, Qdrant 바이너리 또는 SQLite+sqlite-vss(Python 설치 불필요)
7. 7
   Python 휠 파일 (Python 도구 사용 시) — pip download --no-deps로 .whl 파일을 다운로드하여 전송하십시오.
8. 8
   검증 해시 — 각 GGUF 파일에 sha256sum을 실행하여 전송 전 손상 여부를 확인하십시오.

연결된 기기에서 실행할 다운로드 명령어

• ollama pull qwen2.5:14b-instruct-q4_K_M — 9.5 GB, 권장 기본값
• ollama pull qwen2.5:7b-instruct-q4_K_M — 5.5 GB, VRAM이 적은 기기용
• ollama pull nomic-embed-text — 274 MB, 오프라인 RAG 임베딩용
• ollama pull deepseek-r1:7b — 5.5 GB, 수학·추론 중심 사용 사례용
• 모델 파일 위치: Linux/macOS는 ~/.ollama/models/, Windows는 %USERPROFILE%\.ollama\models
• llama.cpp 사용 시: HuggingFace에서 GGUF를 직접 다운로드하고 전송 전 SHA256을 검증하십시오

Ollama 에어갭 워크플로

1. 1
   연결된 기기의 ~/.ollama/ 디렉터리 전체를 오프라인 호스트의 동일 경로로 복사하십시오.
2. 2
   Ollama 바이너리를 설치하십시오: chmod +x ollama && sudo mv ollama /usr/local/bin/
3. 3
   모델 디렉터리를 설정하십시오: export OLLAMA_MODELS=/오프라인/ollama/models 경로
4. 4
   서버를 시작하십시오: ollama serve — 로그에서 네트워크 호출 없이 시작되는지 확인하십시오.
5. 5
   오프라인 테스트: ollama run qwen2.5:14b — 외부 URL 접속 없이 즉시 응답해야 합니다.
6. 6
   LAN 접속을 위한 전체 인터페이스 바인딩: OLLAMA_HOST=0.0.0.0:11434 ollama serve

llama.cpp 에어갭 워크플로

• 사전 컴파일된 바이너리와 GGUF 파일을 오프라인 기기로 전송하십시오.
• 실행: ./llama-server -m ./qwen2.5-14b-instruct-q4_K_M.gguf --port 8080
• --no-mmap 플래그는 네트워크 공유에서 실행 시 메모리 맵 I/O를 비활성화합니다.
• NVIDIA GPU에서 레이어 오프로드: --n-gpu-layers 35, Apple Silicon에서 전체 오프로드: --n-gpu-layers -1
• OpenAI 호환 API는 http://localhost:8080/v1에서 제공됩니다. 모든 OpenAI SDK와 호환됩니다.

오프라인 모델 라이브러리를 위한 NAS 용량 계획

• 모델 스토리지 권장 NAS: Synology DS923+, 4 TB 드라이브 4개 RAID 5 구성(사용 가능 용량 약 12 TB)
• 모델 2~3개 라이브러리의 최솟값: 2 TB SSD(단일 기기 배포는 휴대용 드라이브로 충분)
• NFS를 통해 NAS를 추론 서버에 마운트하고 OLLAMA_MODELS를 NFS 경로로 설정하십시오

데이터 레지던시 컴플라이언스

• 데이터 레지던시: 로컬 추론은 모델 출처와 무관하게 데이터가 자체 하드웨어 밖으로 나가지 않음을 보장합니다. 이는 대부분의 업종별 데이터 레지던시 요구 사항을 충족합니다.
• 모델 출처: 모델 공급업체와 버전을 문서화하면 내부 컴플라이언스 감사가 용이해집니다. Qwen3(Alibaba), DeepSeek(DeepSeek AI)은 관리 연속성이 문서화된 모델의 예입니다.
• 공개 서비스형 AI: 배포가 외부 사용자에게 접근 가능한 경우(순수 내부용이 아닌 경우), 해당 관할권에서 적용되는 통지 의무를 확인하십시오. 직원만 사용하는 내부·오프라인 배포는 일반적으로 적용 범위 밖입니다.
• 네트워크 격리 검증: iptables 또는 방화벽 규칙을 사용하여 추론 서버에서 외부 연결이 없음을 확인하고 컴플라이언스 기록으로 문서화하십시오.
• 감사 로그: Ollama는 기본적으로 프롬프트-응답 쌍을 기록하지 않습니다. 내부 데이터 거버넌스 정책에 따라 미들웨어를 추가하십시오. 로그는 항상 로컬에 저장하고 클라우드로 전송하지 마십시오.

오프라인 RAG 설정

1. 1
   임베딩 모델: 연결된 기기에서 ollama pull nomic-embed-text를 실행하십시오. Ollama 모델 디렉터리의 나머지 파일과 함께 전송하십시오.
2. 2
   벡터 데이터베이스: Chroma는 단독 바이너리로 실행 가능합니다(Python 불필요). 또는 Qdrant 바이너리나 sqlite-vss 확장이 포함된 SQLite를 사용하십시오.
3. 3
   문서 수집: LangChain 또는 LlamaIndex를 오프라인 상태로 사용하십시오(연결 해제 전에 휠 파일을 설치하십시오). 문서 로더를 로컬 파일로 지정하고 웹 크롤링은 하지 마십시오.
4. 4
   쿼리 흐름: 문서 → 로컬 nomic-embed-text 임베딩 → 로컬 벡터 DB에서 상위 k개 청크 검색 → 로컬 Qwen3으로 전달 → 응답. 외부 호출 없음.
5. 5
   테스트: 전체 RAG 쿼리 사이클 동안 tcpdump -i any -n port 443으로 HTTPS 트래픽이 없는지 확인하십시오.

자주 묻는 질문

관련 자료

• 비공개 비즈니스 데이터를 위한 로컬 RAG — 오픈소스 도구로 구성하는 완전한 RAG 파이프라인
• 2026 로컬 AI 모델을 위한 최적 NAS 스토리지 — 모델 라이브러리를 위한 NAS 하드웨어 비교
• 2026 Qwen 로컬 배포 가이드 — 모든 Qwen3 변형에 대한 하드웨어 등급 안내