로컬 LLM 소프트웨어 완전 디렉토리: 직접 소유한 하드웨어에서 AI를 실행하는 88개 도구 (2026)

런타임은 모델 가중치를 메모리에 로드하고 프롬프트를 토큰으로 변환하는 엔진입니다. 로컬 LLM 스택에서 첫 번째 결정이며 그 위의 모든 것을 결정합니다 — 데스크톱 앱, 웹 UI, 코딩 어시스턴트는 모두 결국 런타임을 호출합니다. Ollama는 2026년 사용자 지향 시장 점유율을 지배합니다. OpenAI 호환 API와 단일 명령 설치를 제공하기 때문입니다. llama.cpp는 대부분의 다른 도구 기반에 있는 C++ 엔진이며, vLLM은 실제 GPU에서 동시 사용자를 서비스해야 할 때 적합한 선택입니다.

데스크톱 앱은 런타임을 채팅 인터페이스와 모델 탐색기로 감쌉니다. 터미널 단계가 없기 때문에 대부분의 비기술적 사용자가 시작하는 곳입니다 — 다운로드, 클릭, 채팅. LM Studio, Jan, GPT4All이 2026년 사용자 기반의 대부분을 차지합니다. AnythingLLM은 데스크톱 앱이자 RAG 레이어로도 기능하며, Open Interpreter는 로컬 모델이 컴퓨터를 제어하도록 허용하는 특수한 경우입니다.

웹 UI는 셀프호스팅 ChatGPT 클론입니다 — 동일한 대화 인터페이스지만, 직접 소유한 머신이나 LAN에서 실행되는 런타임을 가리킵니다. 랩톱, 폰, 태블릿이 서버를 가리키는 멀티디바이스 접근이나 팀 사용에 자연스러운 선택입니다. Open WebUI는 2026년 셀프호스팅 세그먼트를 지배하며, LibreChat은 팀 기능 대안, SillyTavern은 전용 롤플레이 인터페이스입니다.

코딩 어시스턴트는 OpenAI 호환 API를 통해 로컬 LLM을 편집기나 터미널에 연결합니다. 선택은 주로 워크플로에 따라 달라집니다: 편집기 내 자동 완성(Continue.dev), 자율 에이전트 편집(Cline, OpenHands), 또는 터미널에서 git 네이티브 diff 편집(Aider). 세 패턴 모두 OpenAI Chat Completions 프로토콜을 지원하는 런타임에서 작동합니다 — 2026년에는 Ollama가 가장 일반적인 백엔드입니다.

RAG (Retrieval-Augmented Generation) 시스템은 로컬 LLM을 임베딩 모델 및 벡터 저장소와 결합하여 모델이 사용자 자신의 문서에서 답변할 수 있게 합니다.** "그냥 작동하는" 턴키 앱(AnythingLLM, PrivateGPT, Quivr, Khoj)과 구축의 기반이 되는 프레임워크 라이브러리(LlamaIndex, Haystack, txtai)로 나뉩니다. RAGFlow는 특히 고품질 인용 추출이 필요한 문서에 대해 2026년에 점유율을 늘리고 있습니다.

에이전트 프레임워크는 LLM에 대한 단일 단계 호출을 멀티스텝 워크플로(계획, 행동, 관찰, 반복)로 전환합니다. LangChain은 여전히 범용 표준입니다. CrewAI와 AutoGen은 역할 기반 멀티에이전트 설정에 특화되어 있습니다. LangGraph는 장기 실행 흐름에서 상태 관리가 중요할 때 올바른 선택입니다. 아래 8개 프레임워크 모두 Ollama 로컬 백엔드와 원활하게 작동합니다.

음성 및 멀티모달 스택은 로컬 LLM을 텍스트 너머로 확장합니다 — 음성 입력(STT), 음성 출력(TTS), 비전. Whisper.cpp와 faster-whisper는 로컬 STT 레이어를 소유합니다. Piper와 Coqui는 XTTS v2가 음성 복제를 지배하며 TTS 레이어를 공유합니다. LLaVA와 Ollama 비전 모델은 시각 측면을 담당합니다. 완전 오프라인 음성 어시스턴트는 이 레이어와 소형 채팅 모델로 구축할 수 있습니다.

모바일 클라이언트는 Apple Neural Engine, Qualcomm NPU 또는 순수 CPU 추론을 사용하여 양자화된 모델을 스마트폰에서 직접 실행합니다. MLC LLM 프로젝트가 기반 레이어이며, 소비자 앱(PocketPal AI, Private LLM, LLM Farm, Layla)이 채팅 인터페이스로 감쌉니다. 2026년 플래그십 폰은 실용적인 속도(8-15 토큰/초)로 2-4B 모델을 실행합니다. 7B는 최고급 하드웨어에서 가능합니다.

전문 도구는 로컬 LLM을 이미 사용 중인 앱에 통합합니다 — 노트 플랫폼(Obsidian, Logseq, Joplin), 자율 작업 에이전트(AutoGPT, BabyAGI, MetaGPT), 롤플레이 프런트엔드(Agnai, RisuAI). 범용 채팅 인터페이스가 아닙니다. 호스트 앱과 런타임을 이미 보유하고 있다고 가정하는 특정 워크플로 통합입니다.

9개 카테고리 전체를 읽고 싶지 않은 독자를 위해 가장 가까운 스택을 선택하고 복사하십시오. 각 행은 실제 목표를 검증된 조합 및 실제로 작동하는 최소 하드웨어와 연결합니다.

이 디렉토리는 6개월마다 검토되며 검토 사이에도 업데이트됩니다 — 2026년 7월 마지막 업데이트, 다음 검토는 2026년 11월 예정입니다. 가장 최근 검토에서는 모든 링크를 재확인하고 여러 프로젝트 이름 및 라이선스를 수정했습니다: Faraday는 이제 Backyard AI, 유지 관리되는 Coqui TTS 포크는 Idiap이 호스팅하며, Cherry Studio는 AGPL 3.0입니다. 포함 기준: 프로젝트가 활발히 유지 관리되고(최근 90일 내 커밋), 검증 가능한 오픈소스 라이선스 또는 명확한 상업적 사용 선언이 있으며, 2026년 기준으로 상당한 사용자 기반을 보유하거나 그렇지 않으면 비어 있을 레이어를 채웁니다. 두 릴리스 주기 이상 비활성화된 프로젝트는 제거됩니다. 기준을 충족하는 신규 프로젝트는 다음 검토 시 추가됩니다. 포함을 위한 프로젝트 제안은 PromptQuorum 저장소에 이슈 또는 PR을 열어주십시오 — 프로젝트 URL, 라이선스, 위의 형식으로 한 문장 설명을 포함하십시오.