Kontextfenster erklärt: Warum KI vergisst (und was Sie tun können)

LLMs haben kein Langzeitgedächtnis — sie "sehen" nur ein Schiebefenster mit aktuellen Tokens, und alles außerhalb dieses Fensters wird vergessen oder komprimiert. Dieser Artikel erklärt, was das für Ihre Prompts bedeutet und wie Sie innerhalb (und außerhalb) dieser Grenzen arbeiten können.

Ein Kontextfenster ist die maximale Menge an Text (gemessen in Tokens), die ein LLM berücksichtigen kann, wenn es seine nächste Ausgabe generiert.

Stellen Sie sich das als den "sichtbaren Text" des Modells zu jedem gegebenen Moment vor. Wenn Sie eine Nachricht an GPT-4o mit einem 128k Token-Kontextfenster senden, kann das Modell die letzten 128.000 Tokens des Gesprächs "sehen" — ungefähr 96.000 Wörter. Alles davor ist für das Modell unsichtbar und beeinflusst seine Antwort nicht.

Tokens vs. Wörter: Ein Token ist kein Wort. Im Durchschnitt entspricht ein Token ≈ 4 Zeichen oder etwa 0,75 Wörter. Ein 4.000-Token-Kontextfenster ≈ 3.000 Wörter einfachen englischen Text. Für dichten Code oder Sprachen wie Japanisch ist das Verhältnis anders — Japanischer Text benötigt aufgrund der Zeichenkodierung ungefähr 2 Tokens pro Wort.

Kontextfenstergröße variiert stark zwischen Modellen:

Das Prinzip ist bei allen Modellen identisch: Alles außerhalb des Fensters ist unsichtbar.

Wenn die Gesamtzahl der Tokens in einer Konversation (System-Prompt + Chat-Verlauf + Benutzereingabe + Tools + erwartete Ausgabe) das Kontextfenster überschreitet, werden ältere Teile gekürzt, zusammengefasst oder ganz gelöscht.

Das ist nicht Gedächtnisverlust wie menschliche Vergesstlichkeit. Das Modell "denkt nicht und vergisst dann." Es sieht den gekürzten Text buchstäblich nicht — er existiert nicht mehr im Input-Raum des Modells.

Häufige Symptome beim Erreichen des Kontextlimits:

Die meisten Chat-Interfaces verwenden eine dieser Strategien:

All diese Methoden bewahren den "Kern", verlieren aber spezifische Details. Wenn das Modell die ursprüngliche Anweisung nicht mehr sieht, kann es sie nicht befolgen.

Kontextüberlastung verstärkt Halluzinationen, weil das Modell Lücken mit plausiblen Vermutungen füllt, wenn die Originalinformation nicht mehr sichtbar ist.

So sieht das Muster aus: Sie bitten die KI, etwas zu referenzieren, das Sie vor 50 Nachrichten erwähnt haben. Diese Nachricht ist aber aus dem Kontextfenster rotiert. Das Modell hat keinen Zugang zur tatsächlichen Tatsache, also generiert es eine plausibel klingende Antwort basierend auf dem, was es aus dem aktuellen Kontext ableitet. Ergebnis: Erfindung.

Daher produzieren hoch-kontextuelle, lange Chats oft mehr Halluzinationen als fokussierte, kurze Austausche. Das Modell verliert nicht seine Argumentationsfähigkeit — es arbeitet mit unvollständiger Information.

Die Beziehung ist direkt: Weniger Kontext → fehlende Verankerung → erhöhtes Halluzinationsrisiko.

Dieser Effekt verstärkt sich mit höheren Temperature und Top-P Einstellungen, die bereits Zufälligkeit erhöhen. Siehe Temperature and Top-P: Control AI Creativity um zu verstehen, wie Parameteroptimierung mit Halluzination interagiert.

Strategisches Strukturieren Ihrer Prompts ermöglicht es, mehr innerhalb eines festen Kontext-Budgets zu erreichen.

Kritische Anweisungen vorne platzieren. Platzieren Sie Ihre wichtigsten Einschränkungen, Regeln und Definitionen im System-Prompt oder in der allerersten Benutzernachricht. Diese werden weniger aus dem Kontext fallen als Anweisungen, die 20 Turns später vergraben sind.

Wiederholungen vermeiden. Wenn Sie etwas bereits einmal erklärt haben, kopieren Sie es nicht erneut ein. Referenzieren Sie es stattdessen: "Wie wir in der obigen Zusammenfassung besprochen haben…" Das spart Tokens.

Zusammenfassung explizit machen. Bitten Sie das Modell, die bisherigen wichtigsten Entscheidungen, Einschränkungen oder Fakten zusammenzufassen. Bauen Sie dann die nächste Antwort auf dieser Zusammenfassung auf, anstatt sich auf verstreute frühere Kontexte zu verlassen.

Turns fokussiert halten. Ein langer, mehrteiliger Monolog nutzt den Kontext ineffizient. Teilen Sie ihn in separate, eng begrenzte Austausche auf.

Das Einfügen ganzer Bücher oder hundertseiten-langer PDFs in ein einzelnes Kontextfenster ist ineffizient, auch für Claude Opus's 1M Token-Fenster, weil das Modell nicht effektiv über mehrere unterschiedliche Abschnitte hinweg fokussieren kann.

Ein 1.000-Seiten-Buch ≈ 250.000 Tokens. Technisch kann Claude Opus es aufnehmen. Praktisch verschlechtert sich die Argumentationsfähigkeit des Modells, wenn es aufgefordert wird, Fragen über stark unterschiedliche Abschnitte zu beantworten — wie wenn man eine Person auffordert, einen ganzen Roman in einem Sitzen zu lesen und dann spezifische Details von Seite 50, 200 und 400 zu erinnern. Die Erinnerung wird vage.

Bessere Ansätze für lange Dokumente:

Aus meiner Erfahrung beim Aufbau von PromptQuorum habe ich festgestellt, dass die Arbeit nahe an Kontextlimits knifflig ist, weil jedes Modell unterschiedliche Limits, Kürzungsverhalten, Preisgestaltung und (für lokale LLMs) RAM-Anforderungen hat. PromptQuorum hilft Ihnen, das transparent und absichtlich zu machen.

Wenn Sie ein Modell in LM Studio oder Ollama ausführen, können Sie die Kontextfenstergröße konfigurieren. Standardmäßig stellen Werkzeuge es auf das Maximum des Modells (z.B. 32k für ein 7B-Modell). Aber das ist selten das, was Sie brauchen.

PromptQuorum integriert sich mit LM Studio und ermöglicht es Ihnen, das Kontextfenster pro Aufgabe anzupassen: wählen Sie 4k für leichte, schnelle Q&A; wählen Sie 32k für tiefe Dokumentanalyse; wählen Sie 64k für lange Gespräche. Das macht den Trade-off explizit statt in Config-Dateien versteckt.

PromptQuorum prüft *bevor* Sie senden: Wenn Ihr System-Prompt + aktueller Chat-Verlauf + Ihre neue Eingabe + erwartete Ausgabelänge gegeben sind, passt das in das konfigurierte Kontextfenster für jedes Modell?

Wenn Überfluss wahrscheinlich ist, warnt PromptQuorum Sie oder fordert Sie auf, den Chat zu trimmen/zusammenzufassen, bevor Sie senden. Keine Überraschung durch Kürzung mehr. Keine Rätsel darüber, warum die KI "vergessen hat."

Für lokale Modelle benötigen größere Kontextfenster exponentiell mehr RAM. Ein 7B Parameter-Modell mit 4k Kontextfenster benötigt ~14GB RAM. Das gleiche Modell mit 128k Kontextfenster benötigt 32GB+. Gehen Sie weiter und die GPU läuft aus RAM, stürzt ab oder fällt auf CPU-Inferenz zurück (was 10–100× langsamer ist).

PromptQuorum zeigt Ihnen diese Beziehung: "Dieses Kontextfenstergröße wird ~28GB RAM auf Ihrer Hardware verwenden. Sie haben 16GB verfügbar." Sie können dann das Kontextfenster für Ihre Aufgabe und Hardware richtig dimensionieren, statt Abstürze während der Inferenz zu entdecken.

Wenn Sie einen Prompt an GPT-4o (128k Fenster), Claude (200k Fenster) und ein lokales 7B-Modell (Ihr gewähltes 32k Fenster) versenden, behält PromptQuorum Ihren Prompt automatisch innerhalb aller drei Grenzen. Ein Prompt, mehrere Modelle, kein manuelles Umschreiben.

Ziel: Ein Multi-Turn-Gespräch über ein einzelnes Projekt führen, ohne frühere Entscheidungen zu verlieren.

Ziel: Erkenntnisse aus einem 50–100-Seiten-Dokument extrahieren.

Ziel: Das fast vollständige Kontextfenster ohne Überfluss verwenden.

Ziel: Ein lokales Modell effektiv ohne Abstürze ausführen.