Was ist Prompt-Caching für lokale LLMs?

Lesen auf:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Schnelle Antwort

Prompt-Caching speichert den berechneten Key-Value-(KV)-Cache für das Präfix eines Prompts, sodass er nicht neu berechnet werden muss, wenn eine spätere Anfrage dasselbe Präfix teilt — einen festen System-Prompt, ein wiederverwendetes Dokument oder frühere Gesprächsrunden. Das verkürzt die Prompt-Verarbeitungszeit bei Workloads mit wiederholtem Präfix deutlich, bringt aber keinen Vorteil, wenn jede Anfrage unabhängig ist.

▸Speichert den KV-Cache für ein Prompt-Präfix, nicht die Ausgabe des Modells
▸Größter Vorteil: lange feste System-Prompts, wiederverwendete Dokumente, mehrstufige Gespräche
▸Kein Vorteil bei Einzelanfragen ohne gemeinsames Präfix über mehrere Aufrufe hinweg

Aktualisiert: 15. Juli 2026

Technique & Concept ExplainersFortgeschritten

Wichtigste Punkte

✓Prompt-Caching speichert den für das Präfix eines Prompts berechneten KV-Cache, sodass eine spätere Anfrage ihn wiederverwenden kann, statt dieselben Token erneut zu verarbeiten
✓Je größer und häufiger wiederholt das gemeinsame Präfix ist, desto größer der Geschwindigkeitsgewinn — ein langer, unveränderter System-Prompt, der bei Tausenden Anfragen wiederverwendet wird, profitiert enorm
✓Mehrstufige Gespräche profitieren in den meisten lokalen Serving-Setups automatisch, da jede neue Runde das gesamte bisherige Gespräch als Präfix teilt
✓Caching hilft nur bei der Prompt-Verarbeitung (der Eingabe), nicht bei der Token-Generierung (der Ausgabe) — es verkürzt die Zeit bis zum ersten Token, nicht die Tokens pro Sekunde nach Beginn der Generierung

Wie Caching die Verarbeitung tatsächlich beschleunigt

Die Verarbeitung eines Prompts bedeutet, dass das Modell für jedes Eingabe-Token eine Key-Value-(KV)-Repräsentation berechnet, bevor es mit der Generierung der Antwort beginnen kann. Dieser Schritt — die Prompt-Verarbeitung — findet vor Beginn der Generierung statt, und seine Kosten skalieren mit der Prompt-Länge. Ohne Caching wird ein langer System-Prompt bei jeder einzelnen Anfrage vollständig neu verarbeitet, selbst wenn er jedes Mal byte-identisch ist.

Caching speichert diese berechnete KV-Repräsentation für ein gegebenes Präfix, verknüpft mit der exakten Token-Sequenz. Beginnt eine neue Anfrage mit denselben Token, werden die zwischengespeicherten KV-Werte direkt wiederverwendet, und nur der neue, nicht zwischengespeicherte Teil des Prompts muss verarbeitet werden. In der Praxis sinkt dadurch die Zeit bis zum ersten Token bei Cache-Treffern deutlich, da der Großteil der Eingabe nicht neu berechnet werden muss.

Deshalb profitieren mehrstufige Gespräche fast automatisch: Runde 3 eines Gesprächs enthält die Runden 1 und 2 als Präfix, sodass ein caching-bewusstes Serving-Setup nur die neueste Runde verarbeitet, nicht den gesamten Gesprächsverlauf erneut.

Prompts so strukturieren, dass sie wirklich profitieren

▸**Gemeinsamen, unveränderten Inhalt zuerst platzieren.** System-Prompts, Anweisungen und Referenzdokumente, die über Anfragen hinweg identisch bleiben, sollten vor dem variablen, anfragespezifischen Inhalt stehen — Caching funktioniert nur bei einem exakt übereinstimmenden Präfix, also wird alles vor der ersten Abweichung wiederverwendet.
▸**Das gemeinsame Präfix über Anfragen hinweg byte-identisch halten.** Schon ein einzelnes Zeichen Unterschied in einem System-Prompt (ein Zeitstempel, eine zufällige ID) bricht die Präfix-Übereinstimmung und erzwingt vollständige Neuverarbeitung — jede anfragespezifische Variation ans Ende des Prompts verschieben, nach dem wiederverwendbaren Inhalt.
▸**Bei unabhängigen Einzelanfragen keinen Nutzen von Caching erwarten.** Wenn Ihr Workload größtenteils aus einmaligen Fragen ohne gemeinsamen Aufbau besteht, gibt es nichts, was Caching wiederverwenden könnte — der Wert der Technik ist proportional dazu, wie viel Ihres Traffics tatsächlich ein gemeinsames Präfix teilt.
▸**Lang laufende Gespräche profitieren am meisten von den Cache-Aufbewahrungseinstellungen.** Prüfen Sie, wie lange Ihr Serving-Setup zwischengespeicherte Präfixe hält, bevor sie verdrängt werden — ein zu aggressiv geleertes Cache hilft Gesprächen mit Pausen zwischen den Runden nicht.

Häufig gestellte Fragen

Ändert Prompt-Caching die Ausgabe des Modells?▾

Nein. Caching beeinflusst nur, wie das gemeinsame Präfix intern verarbeitet wird — es liefert mathematisch identische Ergebnisse zur vollständigen Neuverarbeitung, nur schneller. Es ist eine Performance-Optimierung, keine Änderung am Modellverhalten oder an der Qualität.

Hilft Prompt-Caching bei der Geschwindigkeit der Token-Generierung oder nur bei der anfänglichen Antwortzeit?▾

Nur bei der anfänglichen Antwortzeit (Zeit bis zum ersten Token). Sobald die Generierung beginnt, werden Token weiterhin einzeln mit derselben Generierungsgeschwindigkeit erzeugt, unabhängig vom Caching — Caching eliminiert redundante Prompt-Verarbeitungsarbeit, nicht den Generierungsschritt selbst.

Wie viel VRAM benötigt Caching?▾

Zwischengespeicherte KV-Daten liegen im VRAM neben dem Modell selbst, und ihre Größe skaliert mit der Menge des zwischengespeicherten Kontexts und der Anzahl gleichzeitiger Gespräche. Das gleichzeitige Zwischenspeichern vieler langer Gespräche kann den VRAM-Verbrauch spürbar erhöhen — ein realer Kompromiss gegenüber der Caching-Tiefe auf VRAM-begrenzter Hardware.

Unterstützt jedes lokale Serving-Tool Prompt-Caching?▾

Unterstützung und Standardverhalten variieren je nach Tool — manche cachen automatisch für mehrstufige Nutzung innerhalb einer Sitzung, andere erfordern explizite Konfiguration, und auch die Cache-Aufbewahrung (wie lange ein Präfix vor der Verdrängung zwischengespeichert bleibt) ist tool-spezifisch. Prüfen Sie die Dokumentation Ihres jeweiligen Serving-Tools für dessen Caching-Verhalten und steuernde Einstellungen.

Verwandte Prompt Bites

← Zurück zu Prompt-Häppchen