Das Kontextfenster ist die maximale Textmenge, die ein Sprachmodell in einer einzelnen Anfrage verarbeiten kann. Es umfasst alles: die übergeordnete Anweisung, den mitgegebenen Kontext, den bisherigen Gesprächsverlauf und die zu erzeugende Antwort. Gemessen wird es in Tokens, nicht in Zeichen oder Wörtern.
Was ein Token ist
Ein Token ist die kleinste Einheit, in die ein Modell Text zerlegt — meist ein Wortteil. Häufige Wörter sind oft ein einzelnes Token, seltene oder zusammengesetzte Wörter zerfallen in mehrere. Das hat eine praktische Folge, die im Deutschen besonders spürbar ist: Zusammengesetzte Substantive und Umlaute erzeugen mehr Tokens als vergleichbarer englischer Text. Derselbe Inhalt braucht auf Deutsch deshalb mehr Platz im Kontextfenster und verursacht mehr Kosten.
Warum ein grosses Fenster RAG nicht überflüssig macht
Mit wachsenden Kontextfenstern liegt der Gedanke nahe, einfach alle Dokumente mitzugeben und auf Suche zu verzichten. Das funktioniert selten gut. Erstens kostet jeder mitgegebene Token Geld und Zeit, bei jeder einzelnen Anfrage. Zweitens sinkt die Zuverlässigkeit, je mehr irrelevanter Text mitgegeben wird — relevante Stellen gehen im Rauschen unter. Drittens bleibt jedes Fenster endlich, während Dokumentenbestände wachsen. Gezielte Auswahl bleibt deshalb auch bei grossen Fenstern die bessere Architektur.
Die Position im Fenster zählt
Modelle verarbeiten nicht jede Stelle im Kontext gleich zuverlässig. Informationen am Anfang und am Ende werden tendenziell besser berücksichtigt als solche in der Mitte eines langen Kontexts. Für die Praxis heisst das: Die wichtigsten Vorgaben und die relevantesten Fundstellen gehören an die Ränder, nicht in die Mitte einer langen Zusammenstellung. Wer viel Kontext mitgibt, sollte ihn ordnen statt aneinanderzureihen.
Der Gesprächsverlauf frisst das Fenster
In dialogischen Anwendungen wächst der Verlauf mit jeder Runde und verbraucht zunehmend Platz. Ohne Gegenmassnahme erreicht ein längeres Gespräch die Grenze, und dann fällt entweder der Anfang weg oder die Anfrage schlägt fehl. Übliche Strategien sind, ältere Teile zusammenzufassen statt sie vollständig mitzuführen, oder nur die für die aktuelle Frage relevanten Teile erneut mitzugeben.
Strategien für lange Dokumente
Übersteigt ein Dokument das Fenster, gibt es drei gängige Wege. Zerlegen und gezielt die relevanten Teile auswählen — der übliche RAG-Ansatz. Abschnittsweise verarbeiten und die Teilergebnisse zusammenführen, was bei Zusammenfassungen gut funktioniert. Oder mehrstufig vorgehen: erst grob eingrenzen, dann im eingegrenzten Bereich genau arbeiten. Welcher Weg passt, hängt davon ab, ob eine gezielte Stelle gesucht oder das ganze Dokument erfasst werden soll.
Praktische Konsequenz
Das Kontextfenster ist eine Ressource mit Preis, nicht ein Behälter, den man füllt. Wer weniger, aber besser ausgewähltes Material mitgibt, erhält in aller Regel verlässlichere Antworten zu geringeren Kosten als wer das Fenster ausschöpft.