关键要点
- Foundry Local是微软的设备端AI推理工具；源代码见github.com/microsoft/Foundry-Local，项目网站为foundrylocal.ai
- 提供C#、JavaScript、Rust和Python的原生SDK，以及会根据设备自动选择最佳执行提供程序（NPU、GPU或CPU）的自动硬件加速检测
- 根据官方README，可在Windows、macOS（Apple Silicon）和Linux上运行；读者应就任何具体设备类别的完整平台覆盖情况直接查阅官方仓库
- 安装包轻量，约20MB
- 许可方式是分开的：SDK采用MIT许可证，而CLI则以微软自己的专有Microsoft Software License Terms分发——这不是一个完全开源的产品
- 与Azure AI Foundry不同： Foundry Local在设备上运行，仅进行本地使用无需Azure订阅，而Azure AI Foundry是微软用于大规模构建和部署AI的独立云平台；两者被设计为可在混合工作流中互操作
- 精选的模型目录包括Qwen、DeepSeek、Mistral、Phi和GPT-OSS等模型系列，以及用于音频转录的Whisper——每个下载的模型都有自己独立的许可条款
- 通过本地Web服务器提供兼容OpenAI的API（包括OpenAI Responses API的请求/响应格式），并使用ONNX Runtime进行推理
- GitHub仓库显示有2,541个星标，于2026年9月5日在github.com/microsoft/Foundry-Local核实
📍 简单一句话
Foundry Local是微软的设备端AI推理工具——提供C#、JavaScript、Rust和Python的原生SDK、自动硬件加速检测和精选的模型目录——它是与基于云的Azure AI Foundry相独立的产品。
💬 简单来说
Foundry Local让开发者能够构建一个应用程序，直接在用户的Windows、Mac或Linux设备上运行AI模型，并自动挑选该设备上速度最快的芯片（NPU、GPU或CPU），本地使用无需云账户。它与Azure AI Foundry（微软的云平台）并不相同——两者可以协同工作，但Foundry Local的全部意义就在于离线、在设备上运行。
📌注: 本评测是本地LLM软件目录中Foundry Local条目的深度补充——欲了解Foundry Local与数十种其他本地AI工具的一览对比，请参阅该页面。
Foundry Local是什么？
Foundry Local是微软的设备端AI推理工具——一个端到端的本地AI解决方案，用于构建完全在用户设备上运行的应用程序。其GitHub仓库将其描述为把原生SDK、自动硬件加速和精选模型目录整合在一个轻量级软件包中，面向那些推理需要发生在设备本身而非远程服务器上的开发者。
- 核心功能：在设备上本地运行AI模型推理，运行时会自动检测并使用最佳的可用硬件加速
- 原生SDK：C#、JavaScript、Rust和Python，让开发者能够在这些语言编写的应用程序中集成本地推理，而无需单独的封装层
- 自动硬件加速检测：运行时会为其所在设备选择最佳的执行提供程序——NPU、GPU或CPU——而不是要求开发者将该选择硬编码
- 模型目录：一组经过精选的模型，而非开放的、不受限制的上传系统
- 开发者：微软；托管代码的GitHub组织是microsoft
- 权威仓库：github.com/microsoft/Foundry-Local；项目网站：foundrylocal.ai
Foundry Local 对比 Azure AI Foundry
这是关于Foundry Local最重要的一点区分：Foundry Local与Azure AI Foundry并非同一产品，后者是微软用于大规模构建和部署AI的云平台。根据微软自己的定位，Foundry Local是"将Azure AI Foundry的强大能力带到客户端设备上的高性能本地AI运行时堆栈"——这一表述表明两者之间存在有意设计的关联，但并非相同的产品。
推理运行位置
- Foundry Local:
- 完全在用户自己的设备上
- Azure AI Foundry:
- 微软的云基础设施
是否需要Azure账户
- Foundry Local:
- 仅本地使用则不需要
- Azure AI Foundry:
- 需要，因为它是Azure云服务
离线能力
- Foundry Local:
- 模型下载后即可离线使用
- Azure AI Foundry:
- 不可以，它是托管的云平台
主要用途
- Foundry Local:
- 面向客户端应用程序的设备端推理
- Azure AI Foundry:
- 在云端规模上构建和部署AI解决方案
这两款产品被设计为可以在混合工作流中互操作——开发者可能使用Foundry Local在本地进行原型设计和测试，然后在需要超出单个设备所能提供的算力时，将工作负载扩展到Azure AI Foundry的云端点——但它们仍然是各自独立的产品，Foundry Local仅进行本地使用无需Azure订阅。不要假设这两个名称指的是同一件事，也不要假设安装Foundry Local会产生对Azure账户的任何依赖。
Foundry Local的里程碑
微软将Foundry Local发布为其更广泛的Azure AI Foundry平台的设备端对应产品，面向那些推理需要在客户端硬件而非云端运行的开发者。
- 1首次发布——设备端推理工具
Why it matters: Foundry Local推出时的定位明确是Azure AI Foundry在本地客户端设备上的对应产品，而不是一个与微软整体云AI战略无关的独立产品。 - 2持续进行——原生SDK的扩展（C#、JavaScript、Rust、Python）
Why it matters: 拥有多个原生SDK意味着在不同语言生态系统中工作的开发者，可以集成设备端推理，而无需围绕单一参考实现编写自己的绑定代码。 - 3持续进行——以ONNX Runtime作为推理引擎
Why it matters: 基于ONNX Runtime而非项目专用的推理引擎构建，使Foundry Local能够受益于ONNX Runtime自身的硬件加速和执行提供程序生态系统。 - 4持续进行——精选模型目录的扩展
Why it matters: 该目录已扩展到包括Qwen、DeepSeek、Mistral、Phi和GPT-OSS等模型系列，以及用于音频转录的Whisper，拓宽了开发者可以通过同一个SDK接口在本地运行的内容范围。 - 5持续进行——兼容OpenAI的API接口
Why it matters: 提供兼容OpenAI的API（包括OpenAI Responses API的请求/响应格式），降低了已经基于该API形态构建的应用程序的集成成本。
用Foundry Local能做什么？
根据其GitHub README，Foundry Local的功能集重点在于让开发者能够轻松集成设备端推理。
- 原生SDK——C#、JavaScript、Rust和Python SDK，可将本地推理直接集成到用每种语言编写的应用程序中
- 自动硬件加速检测——运行时会根据设备选择最佳的执行提供程序（NPU、GPU或CPU），而不需要开发者手动检测和配置
- 精选模型目录——包括Qwen、DeepSeek、Mistral、Phi和GPT-OSS等模型系列，以及用于音频转录的Whisper；该目录经过精选，而非开放的上传系统，每个模型都有自己独立的许可条款
- 兼容OpenAI的API——一个支持OpenAI请求和响应格式（包括OpenAI Responses API格式）的本地Web服务器，适用于已经针对该API形态集成的应用程序
- 基于ONNX Runtime的推理——模型通过ONNX Runtime运行，由它在检测到的硬件加速路径上处理实际执行
- 轻量级占用空间——运行时本身的安装包约20MB，模型从目录中单独下载
- 用于模型管理的CLI——诸如
foundry model run <model-name>和foundry model list之类的命令，可从终端运行和列出模型 - 跨平台支持——根据官方README，支持Windows、macOS（Apple Silicon）和Linux
使用示例：使用Foundry Local的三种方式
以上这些工作流均基于Foundry Local已记录的CLI和SDK构建——并非假设性的用例。
安装与入门
Foundry Local是一个面向开发者的CLI和SDK工具，而不是一个带有按操作系统区分的下载按钮的单一消费级应用，因此安装是通过GitHub Releases和各语言的包管理器进行的，而不是通过营销页面上的签名安装程序。
- 1从GitHub Releases下载适用于您平台的CLI安装程序——发布标签遵循类似
cli-preview-0.10.0的模式；请直接查看Releases页面以获取当前版本，而不要假设某个特定版本号。 - 2进行Python开发时，从PyPI安装SDK：
pip install foundry-local-sdk。 - 3进行JavaScript/Node开发时，从npm安装SDK：
npm install foundry-local-sdk。 - 4运行目录中的一个模型以确认安装正常工作：
foundry model run qwen2.5-0.5b。 - 5随时可用
foundry model list列出可用的模型。 - 6在受支持的硬件上，Foundry Local的自动硬件加速检测会自动为您选择NPU、GPU或CPU；默认路径无需手动配置执行提供程序。
Foundry Local的定价与许可
Foundry Local的安装和使用是免费的，仅进行本地推理无需订阅。然而，许可方式比一个笼统的说法要复杂一些：SDK采用MIT许可证，而CLI则以微软自己的专有Microsoft Software License Terms分发——这一点已通过项目自己的LICENSE文件得到确认。将整个产品描述为"开源"或完全"MIT许可"是不准确的。
Foundry Local 对比 Ollama
Foundry Local和Ollama之所以被拿来比较，是因为两者都允许开发者通过CLI和API在本地运行模型——对于在两者之间犹豫不决的读者来说，真正的区别在于底层的推理引擎，以及哪个生态系统（微软的SDK群，还是与硬件无关的、基于llama.cpp的运行时）更适合目标应用程序。
主要用途
- Foundry Local:
- 带有原生SDK、用于构建应用程序的设备端推理工具
- Ollama:
- 通用的本地模型运行时和API
推理引擎
- Foundry Local:
- ONNX Runtime，根据设备自动选择NPU/GPU/CPU
- Ollama:
- 内置的、基于llama.cpp的引擎
原生SDK
- Foundry Local:
- C#、JavaScript、Rust、Python
- Ollama:
- 没有官方SDK；多种语言存在社区维护的库
模型目录
- Foundry Local:
- 精选目录（Qwen、DeepSeek、Mistral、Phi、GPT-OSS、Whisper）
- Ollama:
- 规模庞大、广泛开放的模型库
许可证
- Foundry Local:
- 双重：SDK为MIT，CLI为微软的专有许可条款
- Ollama:
- MIT（开源）
平台
- Foundry Local:
- 根据官方README，支持Windows、macOS（Apple Silicon）、Linux
- Ollama:
- 可在任何Mac、Windows或Linux机器上运行
如果开发者特别希望以C#、JavaScript、Rust或Python的原生SDK，在NPU、GPU和CPU之间实现自动硬件加速选择——例如构建一个Windows或跨平台的客户端应用程序——Foundry Local的设计正好契合这一用例。如果开发者想要最广泛的模型库和一个完全开源的运行时，Ollama的工作流则是更直接的选择。详情请参阅Ollama评测全文。
谁适合使用Foundry Local？
是否值得采用Foundry Local，主要取决于您是在构建一个应用程序（而不仅仅是想要一个聊天界面），以及微软的SDK语言和其硬件加速方式是否与您的项目相匹配。
Foundry Local 对比其他本地AI工具
Foundry Local位于运行时与管理工具这一细分领域，与其他通过CLI或API在本地运行模型的工具并列。完整目录请参阅本地LLM软件目录。
- Ollama——一个基于llama.cpp的通用本地模型运行时和API，完全采用MIT许可证，拥有更大、更开放的模型库，且没有微软特定的SDK要求。如果您想要最广泛的硬件兼容性和模型选择，而不是C#/JavaScript/Rust/Python的原生SDK，它是更直接的选择。详情请参阅Ollama评测全文。
- LM Studio——一款以图形界面为先的本地推理桌面应用，内置模型浏览器和文档聊天功能，面向终端用户而非集成SDK的开发者。如果您想要一个打磨精良的图形化应用，而不是CLI和SDK的开发者工具，它比Foundry Local更贴近需求。详情请参阅LM Studio评测全文。
- Docker Model Runner——捆绑在Docker Desktop/Engine中的CLI和API功能，面向已经在基于Docker的工作流中工作的开发者；如果您的技术栈以容器为中心，这是与Foundry Local原生SDK方式相比较的另一个选项。详情请参阅Docker Model Runner评测全文。
评估Foundry Local时的常见误区
关于Foundry Local的大多数困惑，都源于将其与Azure AI Foundry混淆，或者假设整个产品都是开源的。
常见问题
Foundry Local是什么？
Foundry Local（github.com/microsoft/Foundry-Local）是微软的设备端AI推理工具——一个端到端的本地AI解决方案，用于构建完全在用户设备上运行的应用程序，提供C#、JavaScript、Rust和Python的原生SDK。
Foundry Local和Azure AI Foundry是同一回事吗？
不是。Foundry Local是一个独立的设备端产品，完全在用户设备上运行，仅进行本地使用无需Azure订阅。Azure AI Foundry是微软用于大规模构建和部署AI的云平台。两者被设计为可在混合工作流中互操作，但并非同一产品。
Foundry Local是开源的吗？
部分是。根据项目的LICENSE文件，SDK采用MIT许可证，但CLI是以微软自己的专有Microsoft Software License Terms分发的。将整个产品称为开源是不准确的。
Foundry Local是免费的吗？
是的，Foundry Local本身对于仅本地推理来说，安装和使用都是免费的，无需订阅。下载的各个模型有其自己独立的许可条款，如果在混合工作流中同时使用Azure AI Foundry，则会产生Azure自己的独立计费。
如何安装Foundry Local？
从GitHub Releases下载CLI安装程序，或用pip install foundry-local-sdk安装Python SDK，或用npm install foundry-local-sdk安装JavaScript/Node SDK。
Foundry Local支持哪些平台？
根据官方README，支持Windows、macOS（Apple Silicon）和Linux。在假设某个特定设备类别受支持之前，请直接在官方仓库中确认完整的平台和设备覆盖情况。
Foundry Local的目录中有哪些模型？
该目录经过精选，包括Qwen、DeepSeek、Mistral、Phi和GPT-OSS等模型系列，以及用于音频转录的Whisper。每个模型都有自己独立的许可条款。
Foundry Local提供兼容OpenAI的API吗？
是的。Foundry Local提供一个支持OpenAI请求和响应格式（包括OpenAI Responses API格式）的本地Web服务器，使针对该API形态构建的应用程序只需极少的改动即可集成。
Foundry Local使用哪种推理引擎？
Foundry Local使用ONNX Runtime进行推理，并具备自动硬件加速检测功能，可根据设备选择最佳的执行提供程序——NPU、GPU或CPU。
Foundry Local在GitHub上有多少星标？
根据本站自有目录的核实，Foundry Local的仓库（github.com/microsoft/Foundry-Local）截至2026年9月5日显示有2,541个星标。由于该数字会随时间变化，请直接在仓库中查看当前的数字。