Was ist Foundry Local?
Foundry Local ist Microsofts On-Device-KI-Inferenz-Tool — eine durchgängige lokale KI-Lösung zum Bauen von Anwendungen, die vollständig auf dem Gerät des Nutzers laufen. Das GitHub-Repository beschreibt es als Kombination aus nativen SDKs, automatischer Hardware-Beschleunigung und einem kuratierten Modellkatalog in einem leichtgewichtigen Paket für Entwickler, deren Inferenz auf dem Gerät selbst und nicht auf einem entfernten Server laufen muss.
- Kernfunktion: KI-Modell-Inferenz lokal auf einem Gerät ausführen, wobei die Laufzeitumgebung automatisch die beste verfügbare Hardware-Beschleunigung erkennt und nutzt
- Native SDKs: C#, JavaScript, Rust und Python, sodass Entwickler lokale Inferenz in Anwendungen dieser Sprachen integrieren können, ohne einen separaten Wrapper zu schreiben
- Automatische Erkennung der Hardware-Beschleunigung: Die Laufzeitumgebung wählt den optimalen Ausführungspfad — NPU, GPU oder CPU — für das jeweilige Gerät, statt dass der Entwickler diese Wahl fest verdrahten muss
- Modellkatalog: eine kuratierte Auswahl von Modellen, kein offenes, unbeschränktes Upload-System
- Entwickler: Microsoft; die GitHub-Organisation, die den Code hostet, ist microsoft
- Kanonisches Repository: github.com/microsoft/Foundry-Local; Projektseite: foundrylocal.ai
Foundry Local vs. Azure AI Foundry
Dies ist die wichtigste Unterscheidung bei Foundry Local: Foundry Local ist nicht dasselbe Produkt wie Azure AI Foundry, Microsofts cloudbasierte Plattform zum Bauen und Bereitstellen von KI in großem Maßstab. Microsoft selbst positioniert Foundry Local als "die leistungsstarke lokale KI-Laufzeit-Stack, die die Leistungsfähigkeit von Azure AI Foundry auf Client-Geräte bringt" — eine Formulierung, die eine bewusste Beziehung zwischen beiden signalisiert, nicht identische Produkte.
Wo die Inferenz läuft
- Foundry Local:
- Vollständig auf dem eigenen Gerät des Nutzers
- Azure AI Foundry:
- Microsofts Cloud-Infrastruktur
Azure-Konto nötig
- Foundry Local:
- Nein, für reine lokale Nutzung
- Azure AI Foundry:
- Ja, es ist ein Azure-Cloud-Dienst
Offline-Fähigkeit
- Foundry Local:
- Ja, sobald Modelle heruntergeladen sind
- Azure AI Foundry:
- Nein, es ist eine gehostete Cloud-Plattform
Hauptzweck
- Foundry Local:
- On-Device-Inferenz für Client-Anwendungen
- Azure AI Foundry:
- Bauen und Bereitstellen von KI-Lösungen im Cloud-Maßstab
Die beiden Produkte sind für ein Zusammenspiel in Hybrid-Workflows konzipiert — ein Entwickler könnte lokal mit Foundry Local prototypisieren und testen und eine Arbeitslast dann auf die Cloud-Endpunkte von Azure AI Foundry skalieren, wenn mehr Kapazität benötigt wird, als ein einzelnes Gerät bieten kann —, bleiben aber eigenständige Produkte, und Foundry Local benötigt für die reine lokale Nutzung kein Azure-Abonnement. Gehen Sie nicht davon aus, dass die beiden Namen dasselbe bezeichnen oder dass die Installation von Foundry Local eine Abhängigkeit von einem Azure-Konto erzeugt.
Meilensteine von Foundry Local
Microsoft veröffentlichte Foundry Local als On-Device-Pendant zu seiner breiteren Azure-AI-Foundry-Plattform, gerichtet an Entwickler, deren Inferenz auf Client-Hardware statt in der Cloud laufen muss.
- 1Erste Veröffentlichung — On-Device-Inferenz-Tool
Why it matters: Foundry Local startete explizit als das lokale Client-Geräte-Pendant zu Azure AI Foundry, nicht als eigenständiges, von Microsofts Cloud-KI-Strategie losgelöstes Produkt. - 2Laufend — Erweiterung der nativen SDKs (C#, JavaScript, Rust, Python)
Why it matters: Mehrere native SDKs bedeuten, dass Entwickler in verschiedenen Sprach-Ökosystemen On-Device-Inferenz integrieren können, ohne eigene Bindings um eine einzelne Referenzimplementierung schreiben zu müssen. - 3Laufend — ONNX Runtime als Inferenz-Engine
Why it matters: Der Aufbau auf ONNX Runtime statt einer projektspezifischen Inferenz-Engine lässt Foundry Local vom eigenen Hardware-Beschleunigungs- und Ausführungspfad-Ökosystem von ONNX Runtime profitieren. - 4Laufend — Erweiterung des kuratierten Modellkatalogs
Why it matters: Der Katalog ist um Modellfamilien wie Qwen, DeepSeek, Mistral, Phi und GPT-OSS sowie Whisper für Audiotranskription gewachsen und erweitert, was ein Entwickler über dieselbe SDK-Oberfläche lokal ausführen kann. - 5Laufend — OpenAI-kompatible API-Oberfläche
Why it matters: Eine OpenAI-kompatible API, einschließlich der Anfrage-/Antwortformate der OpenAI Responses API, senkt die Integrationskosten für Anwendungen, die bereits gegen diese API-Form gebaut sind.
Was können Sie mit Foundry Local tun?
Der Funktionsumfang von Foundry Local konzentriert sich laut GitHub-README darauf, On-Device-Inferenz für Entwickler einfach integrierbar zu machen.
- Native SDKs — C#-, JavaScript-, Rust- und Python-SDKs zur direkten Integration lokaler Inferenz in Anwendungen dieser Sprachen
- Automatische Erkennung der Hardware-Beschleunigung — die Laufzeitumgebung wählt den optimalen Ausführungspfad (NPU, GPU oder CPU) je nach Gerät, statt dass der Entwickler dies manuell erkennen und konfigurieren muss
- Kuratierter Modellkatalog — Modellfamilien wie Qwen, DeepSeek, Mistral, Phi und GPT-OSS sowie Whisper für Audiotranskription; der Katalog ist kuratiert statt ein offenes Upload-System, und jedes Modell hat eigene, separate Lizenzbedingungen
- OpenAI-kompatible API — ein lokaler Webserver, der OpenAI-Anfrage- und -Antwortformate unterstützt, einschließlich des OpenAI-Responses-API-Formats, für Anwendungen, die bereits gegen diese API-Form integriert sind
- ONNX-Runtime-Inferenz — Modelle laufen über ONNX Runtime, das die tatsächliche Ausführung über den erkannten Hardware-Beschleunigungspfad übernimmt
- Leichtgewichtiger Fußabdruck — eine Installation von rund 20 MB für die Laufzeitumgebung selbst, Modelle werden separat aus dem Katalog heruntergeladen
- CLI für Modellverwaltung — Befehle wie
foundry model run <model-name>undfoundry model listzum Ausführen und Auflisten von Modellen im Terminal - Plattformübergreifende Unterstützung — Windows, macOS (Apple Silicon) und Linux, laut offiziellem README
Anwendungsbeispiele: Drei Wege, Foundry Local zu nutzen
Diese Workflows basieren auf der dokumentierten CLI und den SDKs von Foundry Local oben — keine hypothetischen Anwendungsfälle.
Ein Modell über die CLI ausführen
Führen Sie nach der Installation der CLI foundry model run qwen2.5-0.5b aus, um ein Modell aus dem Katalog bei Bedarf herunterzuladen und direkt im Terminal auszuführen — nützlich, um ein Modell schnell zu testen, bevor es in eine Anwendung eingebunden wird.
Verfügbare Modelle auflisten
Führen Sie foundry model list aus, um die derzeit über den Katalog verfügbaren Modelle zu sehen, damit ein Entwickler vor der Integration über das SDK bestätigen kann, dass ein bestimmtes Modell unterstützt wird.
Lokale Inferenz aus einer Python- oder Node-Anwendung aufrufen
Installieren Sie das SDK (pip install foundry-local-sdk für Python oder npm install foundry-local-sdk für JavaScript/Node) und rufen Sie das lokale Modell über die API des SDK auf, oder über den OpenAI-kompatiblen lokalen Webserver, falls die Anwendung bereits dieses API-Format spricht — die Inferenz läuft vollständig auf dem Gerät, ohne dass Daten das Gerät verlassen.
Installation und erste Schritte
Foundry Local ist ein CLI- und SDK-Entwickler-Tool, keine einzelne Verbraucher-App mit Download-Buttons pro Betriebssystem, daher erfolgt die Installation über GitHub Releases und Sprach-Paketmanager statt über einen signierten Installer von einer Marketing-Seite.
- 1Laden Sie den CLI-Installer für Ihre Plattform von GitHub Releases herunter — Release-Tags folgen einem Muster wie
cli-preview-0.10.0; prüfen Sie die Releases-Seite direkt auf die aktuelle Version, statt eine bestimmte Nummer anzunehmen. - 2Für die Python-Entwicklung installieren Sie das SDK von PyPI:
pip install foundry-local-sdk. - 3Für die JavaScript/Node-Entwicklung installieren Sie das SDK von npm:
npm install foundry-local-sdk. - 4Führen Sie ein Modell aus dem Katalog aus, um die Installation zu bestätigen:
foundry model run qwen2.5-0.5b. - 5Listen Sie jederzeit verfügbare Modelle mit
foundry model listauf. - 6Auf unterstützter Hardware wählt die automatische Erkennung der Hardware-Beschleunigung von Foundry Local NPU, GPU oder CPU für Sie aus; für den Standardpfad ist keine manuelle Konfiguration des Ausführungspfads nötig.
Foundry Local Preise und Lizenzierung
Foundry Local ist kostenlos zu installieren und zu nutzen, ohne Abonnement für reine lokale Inferenz. Die Lizenzierung ist jedoch differenzierter als ein einziger pauschaler Begriff: Das SDK ist MIT-lizenziert, während die CLI unter Microsofts eigenen proprietären Microsoft Software License Terms vertrieben wird — bestätigt durch die eigene LICENSE-Datei des Projekts. Es ist nicht korrekt, das gesamte Produkt als "Open Source" oder vollständig "MIT-lizenziert" zu bezeichnen.
Foundry Local vs. Ollama
Foundry Local und Ollama werden verglichen, weil beide es einem Entwickler ermöglichen, Modelle lokal über eine CLI und eine API auszuführen — der eigentliche Unterschied für einen Leser, der sich zwischen beiden entscheidet, liegt in der darunterliegenden Inferenz-Engine und darin, welches Ökosystem (Microsofts SDKs vs. eine hardware-unabhängige, llama.cpp-basierte Laufzeitumgebung) zur Zielanwendung passt.
Hauptzweck
- Foundry Local:
- On-Device-Inferenz-Tool mit nativen SDKs zum Bauen von Anwendungen
- Ollama:
- Universelle lokale Modell-Laufzeitumgebung und API
Inferenz-Engine
- Foundry Local:
- ONNX Runtime, mit automatischer NPU/GPU/CPU-Auswahl je nach Gerät
- Ollama:
- Eingebaute, llama.cpp-basierte Engine
Native SDKs
- Foundry Local:
- C#, JavaScript, Rust, Python
- Ollama:
- Keine First-Party-SDKs; Community-Bibliotheken für mehrere Sprachen vorhanden
Modellkatalog
- Foundry Local:
- Kuratierter Katalog (Qwen, DeepSeek, Mistral, Phi, GPT-OSS, Whisper)
- Ollama:
- Große, weitgehend offene Modellbibliothek
Lizenz
- Foundry Local:
- Dual: SDK ist MIT, CLI ist Microsofts proprietäre Lizenzbedingungen
- Ollama:
- MIT (Open Source)
Plattformen
- Foundry Local:
- Windows, macOS (Apple Silicon), Linux, laut offiziellem README
- Ollama:
- Läuft auf jedem Mac-, Windows- oder Linux-Rechner
Wenn ein Entwickler speziell eine automatische Hardware-Beschleunigungsauswahl über NPU, GPU und CPU mit nativen C#-, JavaScript-, Rust- oder Python-SDKs möchte — etwa beim Bau einer Windows- oder plattformübergreifenden Client-Anwendung —, passt das Design von Foundry Local direkt zu diesem Anwendungsfall. Wenn ein Entwickler die breitestmögliche Modellbibliothek und eine vollständig quelloffene Laufzeitumgebung möchte, ist der Workflow von Ollama die direktere Wahl. Details finden Sie in der vollständigen Ollama-Review.
Für wen eignet sich Foundry Local?
Ob sich Foundry Local lohnt, hängt vor allem davon ab, ob Sie eine Anwendung bauen (statt nur eine Chat-Oberfläche zu wollen) und ob Microsofts SDK-Sprachen und der Hardware-Beschleunigungsansatz zu Ihrem Projekt passen.
Nutzen Sie Foundry Local, wenn
- Sie eine Anwendung in C#, JavaScript, Rust oder Python bauen und native SDK-Unterstützung für On-Device-Inferenz wollen, statt einen separaten HTTP-Client zusammenzustellen
- Sie eine automatische Erkennung der Hardware-Beschleunigung wünschen, die den besten verfügbaren Ausführungspfad (NPU, GPU oder CPU) ohne manuelle Konfiguration pro Zielgerät wählt
- Modelle vollständig auf dem Gerät eines Nutzers laufen müssen, ohne dass für den reinen lokalen Pfad ein Azure-Abonnement nötig ist
- Sie bereits Azure AI Foundry in der Cloud nutzen und ein lokales Pendant wollen, das für ein Zusammenspiel in Hybrid-Workflows konzipiert ist
- Sie mit einem CLI- und SDK-Entwickler-Workflow statt einer grafischen Verbraucher-App zurechtkommen
Warten Sie ab oder schauen Sie sich anderweitig um, wenn
- Sie eine einzige, vollständig quelloffene Lizenz für das gesamte Produkt wollen — die CLI von Foundry Local trägt Microsofts eigene proprietäre Lizenzbedingungen, nicht MIT, auch wenn das SDK MIT-lizenziert ist
- Sie die breitestmögliche Modellauswahl statt eines kuratierten Katalogs wollen — ein hardware-unabhängiges Tool wie Ollama oder LM Studio bietet eine breitere Bibliothek
- Sie eine ausgereifte grafische Chat-App für Endnutzer statt einer entwicklerorientierten CLI und SDK wollen — Foundry Local hat keine eigene, verbraucherorientierte Chat-Oberfläche
- Sie Foundry Local für etwas anderes als die im offiziellen README genannten Plattformen (Windows, macOS Apple Silicon, Linux) benötigen — bestätigen Sie genaue Plattform- und Geräteunterstützung direkt im offiziellen Repository, statt sie anzunehmen
Foundry Local vs. andere lokale KI-Tools
Foundry Local ist im Segment Laufzeitumgebungen und Manager angesiedelt, neben anderen Tools, die Modelle lokal über eine CLI oder API ausführen. Den vollständigen Katalog finden Sie im Local LLM Software Directory.
- Ollama — eine universelle lokale Modell-Laufzeitumgebung und API auf Basis von llama.cpp, vollständig MIT-lizenziert, mit einer größeren und offeneren Modellbibliothek und ohne Microsoft-spezifische SDK-Anforderung. Die direktere Wahl, wenn Sie die breitestmögliche Hardware-Kompatibilität und Modellauswahl statt nativer C#/JavaScript/Rust/Python-SDKs wollen. Details in der vollständigen Ollama-Review.
- LM Studio — eine GUI-orientierte Desktop-App für lokale Inferenz mit eingebautem Modell-Browser und Dokument-Chat-Funktion, gerichtet an Endnutzer statt an Entwickler, die ein SDK integrieren. Eine engere Wahl als Foundry Local, wenn Sie eine ausgereifte grafische App statt eines CLI- und SDK-Entwickler-Tools wollen. Details in der vollständigen LM-Studio-Review.
- Docker Model Runner — eine CLI- und API-Funktion, gebündelt mit Docker Desktop/Engine, für Entwickler, die bereits in einem Docker-basierten Workflow arbeiten — eine weitere Option, die Sie gegen den nativen SDK-Ansatz von Foundry Local abwägen können, wenn Ihr Stack containerzentriert ist. Details in der vollständigen Docker-Model-Runner-Review.
Häufige Fehler bei der Bewertung von Foundry Local
Die meiste Verwirrung um Foundry Local entsteht durch die Vermischung mit Azure AI Foundry oder die Annahme, das gesamte Produkt sei Open Source.
Fehler 1: Foundry Local mit Azure AI Foundry verwechseln
Foundry Local ist ein eigenständiges On-Device-Produkt, getrennt von Azure AI Foundry, Microsofts Cloud-Plattform zum Bauen und Bereitstellen von KI in großem Maßstab. Foundry Local läuft vollständig auf dem Gerät eines Nutzers und benötigt für die reine lokale Nutzung kein Azure-Abonnement, auch wenn beide für ein Zusammenspiel in Hybrid-Workflows konzipiert sind.
Fehler 2: Annehmen, Foundry Local sei vollständig Open Source
Nur das SDK ist MIT-lizenziert. Die CLI wird laut LICENSE-Datei des Projekts unter Microsofts eigenen proprietären Microsoft Software License Terms vertrieben — das gesamte Produkt ohne diese Unterscheidung als "Open Source" oder "MIT-lizenziert" zu bezeichnen, ist ungenau.
Fehler 3: Annehmen, der Modellkatalog decke jedes gewünschte Modell ab
Der Katalog von Foundry Local ist kuratiert (Modellfamilien wie Qwen, DeepSeek, Mistral, Phi, GPT-OSS sowie Whisper), kein offenes Upload-System. Prüfen Sie den Katalog auf ein bestimmtes Modell, bevor Sie dessen Verfügbarkeit annehmen, und denken Sie daran, dass jedes Modell eigene, separate Lizenzbedingungen hat.
Fehler 4: Plattform- oder Geräteunterstützung über das Dokumentierte hinaus annehmen
Das offizielle README dokumentiert Unterstützung für Windows, macOS (Apple Silicon) und Linux. Manche Drittanbieter-Listings nennen zusätzliche Plattformen; bestätigen Sie genaue Plattform- und Geräteabdeckung direkt im offiziellen Repository, statt eine Plattform als unterstützt anzunehmen.
Häufig gestellte Fragen
Was ist Foundry Local?
Foundry Local (github.com/microsoft/Foundry-Local) ist Microsofts On-Device-KI-Inferenz-Tool — eine durchgängige lokale KI-Lösung zum Bauen von Anwendungen, die vollständig auf dem Gerät des Nutzers laufen, mit nativen SDKs für C#, JavaScript, Rust und Python.
Ist Foundry Local dasselbe wie Azure AI Foundry?
Nein. Foundry Local ist ein eigenständiges On-Device-Produkt, das vollständig auf dem Gerät eines Nutzers läuft und für die reine lokale Nutzung kein Azure-Abonnement benötigt. Azure AI Foundry ist Microsofts cloudbasierte Plattform zum Bauen und Bereitstellen von KI in großem Maßstab. Beide sind für ein Zusammenspiel in Hybrid-Workflows konzipiert, aber kein identisches Produkt.
Ist Foundry Local Open Source?
Teilweise. Das SDK ist MIT-lizenziert, aber die CLI wird laut LICENSE-Datei des Projekts unter Microsofts eigenen proprietären Microsoft Software License Terms vertrieben. Es ist nicht korrekt, das gesamte Produkt als Open Source zu bezeichnen.
Ist Foundry Local kostenlos?
Ja, Foundry Local selbst ist kostenlos zu installieren und für reine lokale Inferenz zu nutzen, ohne Abonnement. Einzelne heruntergeladene Modelle haben eigene, separate Lizenzbedingungen, und jede Nutzung von Azure AI Foundry daneben in einem Hybrid-Workflow fällt unter Azures eigene, separate Abrechnung.
Wie installiere ich Foundry Local?
Laden Sie den CLI-Installer von GitHub Releases herunter, installieren Sie das Python-SDK mit pip install foundry-local-sdk, oder installieren Sie das JavaScript/Node-SDK mit npm install foundry-local-sdk.
Welche Plattformen unterstützt Foundry Local?
Windows, macOS (Apple Silicon) und Linux, laut offiziellem README. Prüfen Sie das offizielle Repository direkt auf vollständige Plattform- und Geräteabdeckung, bevor Sie eine bestimmte Geräteklasse als unterstützt annehmen.
Welche Modelle sind im Katalog von Foundry Local verfügbar?
Der Katalog ist kuratiert und umfasst Modellfamilien wie Qwen, DeepSeek, Mistral, Phi und GPT-OSS sowie Whisper für Audiotranskription. Jedes Modell hat eigene, separate Lizenzbedingungen.
Bietet Foundry Local eine OpenAI-kompatible API?
Ja. Foundry Local stellt einen lokalen Webserver bereit, der OpenAI-Anfrage- und -Antwortformate unterstützt, einschließlich des OpenAI-Responses-API-Formats, sodass Anwendungen, die gegen diese API-Form gebaut sind, mit minimalen Änderungen integriert werden können.
Welche Inferenz-Engine nutzt Foundry Local?
Foundry Local nutzt ONNX Runtime für die Inferenz, mit automatischer Erkennung der Hardware-Beschleunigung, die den optimalen Ausführungspfad — NPU, GPU oder CPU — je nach Gerät wählt.
Wie viele GitHub-Sterne hat Foundry Local?
Das Repository von Foundry Local (github.com/microsoft/Foundry-Local) zeigte laut Verzeichnisprüfung dieser Seite Stand 5. September 2026 2.541 Sterne. Prüfen Sie das Repository direkt auf eine aktuelle Zahl, da sie sich im Lauf der Zeit ändert.