Eine Übersicht über Kontext-Ingenieurwesen für große Sprachmodelle

Die Leistung von großen Sprachmodellen (LLMs) wird grundlegend durch die kontextuelle Information bestimmt, die während der Inferenz bereitgestellt wird. Diese Übersicht stellt Context Engineering vor, eine formale Disziplin, die den Bereich des einfachen Prompt-Designs übersteigt und sich auf die systematische Optimierung von Informationspaketen für LLMs konzentriert. Wir präsentieren eine umfassende Taxonomie, die Context Engineering in seine grundlegenden Komponenten und die fortschrittlichen Implementierungen zerlegt, die diese Komponenten in intelligente Systeme integrieren. Zunächst untersuchen wir die grundlegenden Komponenten: Kontextabruf und -generierung, Kontextverarbeitung und Kontextmanagement. Anschließend erläutern wir, wie diese Komponenten architektonisch integriert werden, um fortschrittliche Systemimplementierungen zu schaffen: Retrieval-Augmented Generation (RAG), Speichersysteme und toolintegrierte Schlussfolgerung sowie Multi-Agentensysteme. Durch diese systematische Analyse von über 1300 Forschungsarbeiten etabliert unsere Übersicht nicht nur einen technischen Wegweiser für das Fachgebiet, sondern zeigt auch eine kritische Forschungslücke auf: Es besteht ein fundamentales Ungleichgewicht zwischen den Fähigkeiten der Modelle. Obwohl aktuelle Modelle durch fortgeschrittene Context Engineering bemerkenswerte Fähigkeiten im Verstehen komplexer Kontexte zeigen, haben sie deutliche Einschränkungen bei der Erstellung gleichwertig komplexer, langer Textausgaben. Die Überwindung dieser Lücke ist eine zentrale Priorität für zukünftige Forschungen. Letztlich bietet diese Übersicht ein einheitliches Rahmenwerk sowohl für Forscher als auch für Ingenieure, die kontextbewusste KI weiterentwickeln.