Praktische Einsatz-Stacks
Für Leserinnen und Leser, die nicht alle neun Kategorien durcharbeiten möchten: Wählen Sie den nächstpassenden Stack und übernehmen Sie ihn. Jede Zeile verbindet ein konkretes Ziel mit einer bewährten Kombination und der tatsächlichen Hardware-Mindestanforderung.
Ziel | Stack | Hardware-Mindestanforderung |
|---|---|---|
| Einfacher Chat | LM Studio standalone | 16 GB RAM, keine GPU erforderlich |
| Bestes Gleichgewicht für Power-User | Ollama + Open WebUI | 16 GB RAM, GPU optional |
| Dokumenten-Chat | Ollama + AnythingLLM | 16 GB RAM, GPU optional |
| Coding | Ollama + Continue.dev | 16 GB RAM + GPU empfohlen |
| Rollenspiel / Kreatives Schreiben | KoboldCpp + SillyTavern | 16 GB RAM, GPU empfohlen |
| Datenschutz-kritischer Einsatz | Ollama + Open WebUI + PrivateGPT | 32 GB RAM + 12 GB VRAM |
| Mobile / Unterwegs | MLC Chat oder PocketPal AI | iPhone 13+ / Pixel 7+ |
| Apple Silicon | Ollama (MLX-Backend) oder LM Studio | M2/M3/M4/M5 mit 16+ GB Unified Memory |
| Multi-User-Team | vLLM + Open WebUI | 32+ GB RAM + mehrere GPUs |
Wichtigste Erkenntnisse
- Zehn Schichten, 224 Projekte, eine Übersichtskarte. Laufzeitumgebungen, Desktop-Apps, Web-UIs, IDE-Integrationen, Terminal-Tools, RAG-Systeme, Agenten-Frameworks, Sprache/Audio/Vision, Mobile-Clients, spezialisierte Produktivitäts-Plugins und Bildgenerierung — fast jedes bekannte Projekt aus 2026 lässt sich exakt einer dieser Schichten zuordnen.
- Wählen Sie zuerst eine Laufzeitumgebung. Ollama ist für ~95 % der Leserinnen und Leser die richtige Standardwahl; llama.cpp ist die grundlegende Engine hinter den meisten anderen Tools; vLLM ist die Produktionsalternative für Multi-User-Setups auf echten GPUs.
- Die meisten Schichten oberhalb der Laufzeitumgebung sind optional. Eine Desktop-App ODER ein Web-UI reicht für den Chat aus. Fügen Sie eine IDE-Integration nur dann hinzu, wenn Sie Code-Unterstützung wünschen; Terminal-Tools nur dann, wenn Sie CLI-Workflows möchten; ein RAG-System nur dann, wenn Sie mit eigenen Dokumenten chatten möchten; ein Agenten-Framework nur dann, wenn One-Shot-Aufrufe nicht mehr ausreichen; Bildgenerierung nur dann, wenn Sie visuelle Ausgaben benötigen.
- Lizenzen sind relevant für den kommerziellen Einsatz. MIT und Apache 2.0 dominieren das Ökosystem. AGPL findet sich bei einigen UIs (text-generation-webui, KoboldCpp, Jan, SillyTavern) — für den Privatgebrauch unproblematisch, bei kommerziellen Deployments sorgfältig prüfen. Die Spalte „Lizenz" unten benennt jede Lizenz explizit.
- Multi-Tool-Stacks sind die Norm. Ollama + Open WebUI + AnythingLLM + Continue.dev + Stable Diffusion ist ein Single-Machine-Setup, das Chat, RAG, Coding und Bildgenerierung ohne Kompromisse abdeckt. Die Tabelle „Praktische Einsatz-Stacks" unten nennt die Rezepte, die in 2026 tatsächlich funktionieren.
Aktualität des Verzeichnisses
Dieses Verzeichnis wird alle drei Monate überprüft und zwischen den Überprüfungen mit gezielten monatlichen Updates aktualisiert — zuletzt aktualisiert im August 2026, nächste planmäßige Aktualisierung November 2026. Die Erweiterung im August 2026 hat 72+ neue Tools über alle Schichten hinweg ergänzt, Sprache/Multimodal in drei fokussierte Schichten aufgeteilt (STT, TTS, Vision), Coding-Assistenten in IDE-Integrationen (4a) und Terminal-Tools (4b) aufgeteilt und eine vollständig neue Bildgenerierungs-Schicht hinzugefügt. Alle Links und Lizenzen wurden erneut geprüft; neue Einträge (PearAI, Windsurf, Sourcegraph Cody, SuperAGI, Leon AI, Draw Things, Fooocus, StableSwarmUI und weitere) wurden auf aktive Pflege verifiziert. Aufnahmekriterien: Das Projekt wird aktiv gepflegt (Commits in den letzten 90 Tagen), verfügt über eine nachweisbare Open-Source-Lizenz oder eine klare Aussage zur kommerziellen Nutzbarkeit, und hat entweder einen relevanten Nutzeranteil im Jahr 2026 oder füllt eine Schicht aus, die sonst leer bliebe. Projekte, die länger als zwei Release-Zyklen inaktiv bleiben, werden entfernt; neue Einträge, die die Kriterien erfüllen, werden bei der nächsten Überprüfung aufgenommen. Einen Vorschlag für die Aufnahme können Sie über ein Issue oder einen Pull Request im PromptQuorum-Repository einreichen — bitte Projekt-URL, Lizenz und eine Kurzbeschreibung im Format der Tabellen oben beifügen.
Hinweis für DACH-Unternehmen: Für Organisationen in Deutschland, Österreich und der Schweiz empfiehlt sich der Einsatz von Tools mit MIT- oder Apache-2.0-Lizenz, da diese die klarste Rechtsgrundlage für den kommerziellen Einsatz bieten. Bei der Verarbeitung personenbezogener Daten ist zu prüfen, ob lokale Inferenz als Auftragsverarbeitung im Sinne von Art. 28 DSGVO einzustufen ist — in der Regel liegt sie außerhalb des Anwendungsbereichs, solange keine Daten das lokale System verlassen. Der BSI-Grundschutz-Katalog (insbesondere die Bausteine SYS und APP) bietet einen praxisnahen Rahmen für die Absicherung von Self-Hosted-LLM-Infrastruktur in deutschen Unternehmen. Diese Einschätzung ersetzt keine Rechtsberatung — für eine rechtsverbindliche Bewertung Ihrer konkreten Verarbeitungssituation konsultieren Sie einen auf DSGVO spezialisierten Rechtsanwalt oder Ihren Datenschutzbeauftragten.
Quellen
- ggml-org/llama.cpp GitHub — Primärquelle für Laufzeitarchitektur und unterstützte Modelle.
- Ollama Library — Offizieller Modellkatalog und Laufzeitdokumentation.
- LM Studio Documentation — Funktionsreferenz für die marktführende Desktop-GUI.
- Open WebUI Documentation — Funktionsreferenz für das marktführende Self-Hosted-Web-UI.
- Hugging Face Hub — Primäre Bezugsquelle für Modellgewichte, die von jeder der oben aufgeführten Laufzeitumgebungen genutzt werden.
- awesome-local-llm GitHub-Liste — Community-gepflegtes Inventar, das als Plausibilitätsprüfung für die Projektaufnahme dient.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einer lokalen LLM-Laufzeitumgebung und einer Desktop-App?
Eine Laufzeitumgebung (Ollama, llama.cpp, vLLM) ist die Engine, die Modellgewichte lädt und eine API bereitstellt — typischerweise OpenAI-kompatibel. Eine Desktop-App (LM Studio, Jan, GPT4All) ist eine Chat-Oberfläche, die im Hintergrund eine Laufzeitumgebung aufruft. Manche Apps bündeln ihre eigene Laufzeit (LM Studio enthält llama.cpp), andere setzen eine separate Installation voraus (Open WebUI ruft Ollama auf). Die Laufzeitumgebung entscheidet, was technisch möglich ist; die App entscheidet, was bequem nutzbar ist.
Kann ich mehrere Tools aus dieser Liste gleichzeitig verwenden?
Ja — die meisten Stacks kombinieren 2–4 Tools. Ein verbreitetes Setup: Ollama als Laufzeitumgebung, Open WebUI für den Chat, AnythingLLM für den Dokumenten-Chat und Continue.dev für das Coding — alle vier laufen gegen dieselbe Ollama-Instanz auf einem einzigen Rechner. Die Tabelle „Praktische Einsatz-Stacks" oben nennt die Rezepte, die konfliktfrei funktionieren.
Welche Tools funktionieren vollständig offline ohne Telemetrie?
Ollama, llama.cpp, vLLM, Jan, GPT4All, Open WebUI, AnythingLLM, PrivateGPT, Continue.dev, Aider, KoboldCpp, Llamafile, MLX-LM und die meisten AGPL/MIT-lizenzierten Apps in diesem Verzeichnis sind nach dem Modell-Download vollständig offline nutzbar. LM Studio und einige proprietäre Tools verfügen über optionale Analysefunktionen, die in den Einstellungen deaktiviert werden können — überprüfen Sie dies durch einen Paketmitschnitt nach der Installation. Browser-basierte UIs (Open WebUI, LibreChat) sind lokal, wenn sie mit einem lokalen Backend konfiguriert sind.
Sind einige dieser Tools kommerziell lizenziert (nicht frei für kommerzielle Nutzung)?
Eine Handvoll: LM Studio, Msty, Backyard AI, Layla und Cursor sind proprietär — in der Regel kostenlos nutzbar, aber nicht weiterverteilbar; kommerzielle Konditionen variieren je Anbieter. Private LLM ist kostenpflichtig. AGPL-lizenzierte Tools (Jan, KoboldCpp, text-generation-webui, SillyTavern, Khoj, Copilot for Obsidian) sind für jeden Zweck einschließlich kommerzieller Nutzung frei, die AGPL-Bedingungen verlangen jedoch Quelloffenlegung, wenn Sie sie modifiziert öffentlich hosten. Apache-2.0- und MIT-Projekte (die Mehrheit) sind in jedem Kontext einschließlich kommerzieller Nutzung ohne wesentliche Auflagen verwendbar.
Welche Tools unterstützen Apple Silicon (M-Serie) nativ?
Ollama, llama.cpp, MLX-LM, LM Studio, Jan, Enchanted, GPT4All, MLC Chat, AnythingLLM und die meisten Electron/Tauri-Apps laufen nativ auf Apple Silicon und nutzen das Metal-Backend. MLX-LM ist Apple-spezifisch und auf M-Series-Geräten für große Modelle am schnellsten. vLLM, TensorRT-LLM und ExLlamaV2 sind NVIDIA-fokussiert und laufen auf Apple Silicon entweder nicht oder nur eingeschränkt — für Apple-Nutzer ist Ollama mit Metal-Backend die Standardempfehlung.
Unterstützen alle diese Tools das GGUF-Modellformat?
GGUF ist das native Format für llama.cpp und alle Tools, die darauf aufbauen (Ollama, LM Studio, Jan, GPT4All, KoboldCpp, Llamafile). vLLM und TensorRT-LLM verwenden eigene optimierte Formate (typischerweise AWQ oder FP16) für höheren Durchsatz. ExLlamaV2 nutzt EXL2-Quantisierung. MLX-LM verwendet MLX-konvertierte Gewichte. Die meisten aufgeführten Tools akzeptieren GGUF; einige (vLLM, TensorRT-LLM, ExLlamaV2, MLX-LM) erfordern einen einmaligen Konvertierungsschritt aus den originalen Hugging Face-Gewichten.
Welche Tools eignen sich für Nutzerinnen und Nutzer ohne Programmiererfahrung?
GPT4All bietet die einfachste Installation (ein Klick, läuft ab 8 GB RAM), auch wenn die eigenen Updates zuletzt seltener geworden sind. LM Studio ist das funktionsreichste Tool ohne Terminal-Nutzung. Jan ist die datenschutzfreundlichste No-Code-Option. Für Dokumenten-Chat ohne Kommandozeile ist AnythingLLM am einfachsten. Alle vier sind in der Kategorie Desktop-GUI-Anwendungen oben aufgeführt.
Kann ich diese Tools auf einem Server betreiben und remote darauf zugreifen?
Die meisten Server-fähigen Tools (Ollama, vLLM, LocalAI, Open WebUI, LibreChat, PrivateGPT, AnythingLLM) stellen eine HTTP-API bereit und binden an eine in den Einstellungen konfigurierbare Netzwerkschnittstelle. Standardmuster: Ollama auf einem Heimserver oder VPS betreiben, eine UI auf Laptop oder Smartphone, die auf die Server-IP zeigt. Behandeln Sie die API wie jeden Webdienst — binden Sie sie an localhost hinter einem Reverse-Proxy oder an ein privates Netzwerk mit geeigneter Authentifizierung. Open WebUI enthält Multi-User-Unterstützung von Haus aus.
Welche Tools unterstützen Multi-User- / Team-Setups?
Open WebUI, LibreChat, h2oGPT, AnythingLLM (mit aktivierten Admin-Funktionen) und Dify sind für den Multi-User-Einsatz ausgelegt, mit rollenbasiertem Zugriff und nutzerspezifischem Gesprächsverlauf. vLLM ist die richtige Serving-Schicht darunter, wenn gleichzeitige Inferenz relevant ist — es bündelt Anfragen mehrerer Nutzer für einen Durchsatz, der mit Ollama bei mehr als ~3 gleichzeitigen Anfragen nicht erreichbar ist.
Wie häufig wird dieses Verzeichnis aktualisiert?
Alle drei Monate, mit gezielten monatlichen Updates dazwischen — zuletzt überprüft im Juli 2026, die nächste planmäßige Aktualisierung ist im November 2026. Monatliche Änderungen (ein Projekt wird inaktiv, ein neues Tool gewinnt relevanten Marktanteil, eine Lizenz ändert sich) werden als Patch in den bestehenden Eintrag eingepflegt. Vollständig neue Kategorien oder Schichten warten auf die vierteljährliche Überarbeitung, um die Struktur stabil zu halten.
Kann ich Bildgenerierung lokal ohne Cloud-Aufrufe durchführen?
Ja — Stable Diffusion, ComfyUI, Invoke AI, AUTOMATIC1111 WebUI und weitere Tools aus Schicht 10 laufen vollständig auf lokaler Hardware. Stable Diffusion benötigt mindestens 6 GB VRAM (RTX 3060, RTX 4060 oder vergleichbar); Fooocus und andere optimierte UIs laufen bereits auf Karten mit 4–6 GB. Real-ESRGAN vergrößert generierte Bilder; ControlNet ergänzt räumliche Steuerung (Kanten, Posen, Tiefenkarten); AnimateDiff generiert Video aus Text. Alle laufen, ohne Daten an externe Server zu senden.
Muss ich bei der Verwendung dieser Tools die DSGVO beachten?
Das hängt davon ab, welche Daten Sie verarbeiten. Lokale Inferenz — d. h. Modell und Daten verbleiben auf Ihrem eigenen System — ist datenschutzrechtlich grundsätzlich vorteilhaft, weil keine personenbezogenen Daten an externe Server übertragen werden. Verarbeiten Sie dennoch personenbezogene Daten (z. B. Kundendokumente, Mitarbeiterdaten), gelten die DSGVO-Grundsätze (Art. 5–11) sowie ggf. Art. 28 (Auftragsverarbeitung), falls ein Dienstleister die Infrastruktur betreibt. Der BSI-Grundschutz-Katalog (Bausteine SYS.1.1 und APP.3.1) bietet einen praxisnahen Sicherheitsrahmen für Self-Hosted-LLM-Systeme in deutschen Organisationen. Für eine rechtsverbindliche Einschätzung sollten Sie einen auf DSGVO spezialisierten Rechtsanwalt oder Datenschutzbeauftragten hinzuziehen.
Sind diese Tools für den deutschen Mittelstand geeignet?
Ja — für mittelständische Unternehmen in Deutschland, Österreich und der Schweiz bieten lokale LLM-Stacks konkrete Vorteile: Datensouveränität (keine Cloud-Abhängigkeit, keine Datenübermittlung an US-Anbieter), planbare Kosten (keine token-basierten Nutzungsgebühren) und Anpassbarkeit (Feinabstimmung auf Branchensprache möglich). Empfohlene Einstiegskonfiguration für den Mittelstand: Ollama als Laufzeitumgebung, Open WebUI für den Team-Chat, AnythingLLM für interne Wissensdatenbanken. Für IT-Sicherheitsanforderungen nach BSI-Grundschutz empfiehlt sich der Einsatz von Tools mit MIT- oder Apache-2.0-Lizenz und eine Netzwerksegmentierung des LLM-Servers vom Produktionsnetz.