Das Kontextfenster (Context Window) ist die maximale Anzahl von Tokens, die ein großes Sprachmodell (LLM) auf einmal verarbeiten kann, und definiert die Länge des Textes für eine einzelne Eingabe und Generierung. Dieser Mechanismus bestimmt direkt, wie lange Dokumente, Gespräche oder Code ein Modell auf einmal lesen kann, und beeinflusst auch den Speicherbedarf und die Inferenzkosten. Das Fenster wurde von anfänglich einigen Tausend Tokens auf heute Hunderttausende bis Millionen Tokens erweitert, aber es ist im Wesentlichen „Kapazität“ und nicht „Fähigkeit“ – dass etwas Platz hat, bedeutet nicht, dass es gut genutzt wird.

Dieser Begriff wurde mit der Verbreitung von Transformer-basierten Sprachmodellen populär: Das GPT-3-Papier aus dem Jahr 2020 legte eine feste Obergrenze von 2048 Tokens für die Eingabe fest. Seitdem hat sich der Begriff „Kontextfenster“ als gängige Bezeichnung zur Beschreibung der Modellspezifikationen etabliert. Die Fenstergröße wurde zeitweise zu einer der wichtigsten Zeilen in Vergleichstabellen zwischen Modellen.

Die Zahl in diesen Vergleichstabellen ist jedoch eher eine Kapazitätsobergrenze und spiegelt nicht unbedingt die tatsächliche nutzbare Leistung wider. „Platz haben“ und „gut nutzen“ sind zwei verschiedene Dinge. Im Jahr 2023 führten Liu et al. in ihrem Paper „Lost in the Middle: How Language Models Use Long Contexts“ eine klassische Untersuchung durch: Bei Aufgaben zum Beantworten von Fragen über mehrere Dokumente und zum Abrufen von Schlüssel-Wert-Paaren schnitten Modelle am besten ab, wenn sich die relevanten Informationen am Anfang oder am Ende befanden. Wenn sich die Informationen in der Mitte langer Texte befanden, nahm die Leistung signifikant ab, was zu einer „U-förmigen“ Kurve führte – selbst spezialisierte Modelle für lange Kontexte waren davon nicht ausgenommen. Mechanistisch gesehen wächst der Rechenaufwand der Standard-Aufmerksamkeit quadratisch mit der Sequenzlänge, und der KV-Cache wächst linear mit der Fenstergröße. Daher bedeutet ein „größeres Fenster“ höhere Speicher- und Latenzkosten. Forscher mildern dies durch Techniken wie Positionscode-Extrapolation und Retrieval-Kompression ab. Die gängige ingenieurtechnische Lösung ist Retrieval-Augmented Generation: Lange Dokumente werden zunächst in Blöcke aufgeteilt, bei Bedarf abgerufen und nur die relevantesten Fragmente in das Fenster eingefügt. Die ingenieurtechnische Erkenntnis ist direkt: Wichtige Informationen sollten am Anfang oder am Ende platziert werden, und bei langen Dokumenten sollte zuerst abgerufen werden, bevor sie dem Modell übergeben werden. [JIALIU_0]