本地LLM软件完整目录：70+款工具，在自有硬件上运行AI（2026）

运行时是将模型权重加载到内存、将提示词转换为token的核心引擎。它是本地LLM技术栈的第一个决策，也制约着上层所有组件——每个桌面应用、Web界面和编程助手最终都会调用某个运行时。Ollama在2026年主导用户侧份额，原因在于它提供OpenAI兼容API并支持一条命令安装；llama.cpp是大多数其他工具底层的C++引擎；vLLM是在真实GPU上为多用户提供并发服务的首选。

桌面应用将运行时封装成聊天界面和模型浏览器。它们是大多数非技术用户的起点，因为无需命令行操作——下载、点击、开始聊天。LM Studio、Jan和GPT4All在2026年占据了大部分用户群体；AnythingLLM兼具桌面应用和RAG层的双重功能；Open Interpreter是个特例，它允许本地模型直接操控用户的电脑并执行代码。

Web界面是自托管的ChatGPT替代方案——相同的对话界面，但指向运行在本地机器或局域网上的运行时。当需要多设备访问（笔记本、手机、平板同时连接一台服务器）或团队共用时，它们是自然之选。Open WebUI在2026年主导自托管市场，LibreChat是团队功能替代方案，SillyTavern专注角色扮演场景。

编程助手通过OpenAI兼容API将本地LLM接入编辑器或终端。选择主要取决于工作流偏好：编辑器内自动补全（Continue.dev）、自主智能体编辑（Cline、OpenHands）或终端内git原生差异编辑（Aider）。三种模式均可与任何支持OpenAI Chat Completions协议的运行时配合使用——Ollama是2026年最常见的后端。

RAG（检索增强生成）系统将本地LLM与嵌入模型和向量数据库结合，使模型能够基于自有文档进行问答。**主要分为两类：开箱即用的应用（AnythingLLM、PrivateGPT、Quivr、Khoj）和可二次开发的框架库（LlamaIndex、Haystack、txtai）。RAGFlow在2026年凭借文档级引用精准检索能力取得了显著的份额增长。

智能体框架将单次LLM调用转变为多步骤工作流——计划、行动、观察、循环。LangChain仍是通用默认选择；CrewAI和AutoGen专注于基于角色的多智能体场景；LangGraph在长时运行流程中的状态管理方面表现更优。以下所有八个框架均可与本地Ollama后端无缝配合。

语音和多模态技术栈将本地LLM的能力从文本扩展至语音输入（STT）、语音输出（TTS）和视觉理解。Whisper.cpp和faster-whisper占据本地STT层；Piper和Coqui共享TTS层，XTTS v2主导语音克隆；LLaVA和Ollama视觉模型覆盖视觉端。基于这一层加上一个小型聊天模型，即可构建完全离线的语音助手。

移动端客户端使用Apple Neural Engine、高通NPU或纯CPU推理直接在手机上运行量化模型。MLC LLM是基础层；消费级应用（PocketPal AI、Private LLM、LLM Farm、Layla）在其上封装了聊天界面。2026年旗舰手机以实用速度（8-15 tokens/秒）运行2-4B模型；7B模型对顶级硬件来说处于可行性边缘。

专业化工具将本地LLM嵌入您已在使用的应用——笔记平台（Obsidian、Logseq、Joplin）、自主任务智能体（AutoGPT、BabyAGI、MetaGPT）以及角色扮演前端（Agnai、RisuAI）。这些不是通用聊天界面，而是面向特定工作流的集成方案，前提是您已有宿主应用和运行时。

不想逐一阅读九个类别的读者，直接选择最接近的技术栈并复用即可。每行将实际目标与经过验证的工具组合及最低硬件要求配对。

中国（数据安全法）： 中国2021年《数据安全法》对数据本地化处理和跨境传输有明确规定。本地推理在技术上直接满足合规需求——模型权重和推理计算全部在本地完成，数据不经过任何第三方云服务器。对于需要处理中文企业文本的场景（金融报告、医疗记录、法律合同），在中文理解和指令遵循方面具有针对性优化的模型是本地部署的可选方案，可在满足数据留存要求的同时实现文档理解与知识问答。 亚太地区（数据跨境合规）： 亚太地区各经济体正在建立和完善数据本地化框架。本地推理是满足跨境数据传输限制的技术路径——在本地运行模型意味着推理输入和输出不需要离开所在司法管辖区。对于在多个亚太市场运营的企业，在每个合规区域内部署独立的本地LLM实例，是规避数据主权合规风险的实践路径之一。 企业部署（金融、医疗、法律）： 在受监管行业，金融机构、医院和律所通常面临严格的数据外发限制。本地LLM部署——尤其是与RAG系统结合后——可在不向外部云服务发送任何敏感数据的前提下实现文档理解、合同分析和知识库问答等用例。本目录每六个月审查一次（下次更新：2026年11月）。纳入标准：项目在过去90天内活跃维护、具备可验证的开源许可证或明确的商业使用声明，并在2026年拥有一定用户基础或填补了某一层的空缺。如需建议纳入某个项目，请向PromptQuorum仓库提交issue或PR，附上项目URL、许可证及上述格式的一句话描述。