Eine umfassende Studie zur Wissensbearbeitung für große Sprachmodelle

Große Sprachmodelle (Large Language Models, LLMs) haben außergewöhnliche Fähigkeiten im Verständnis und der Generierung von Text demonstriert, die der menschlichen Kommunikation nahekommen. Ein zentrales Limitierungslimit liegt jedoch in den erheblichen Rechenanforderungen während des Trainings, die durch die umfangreiche Parametrisierung der Modelle bedingt sind. Diese Herausforderung wird durch die dynamische Natur der Welt weiter verschärft, da LLMs regelmäßig aktualisiert werden müssen, um veraltete Informationen zu korrigieren oder neues Wissen zu integrieren und somit ihre Relevanz aufrechtzuerhalten. Hinzu kommt, dass viele Anwendungen kontinuierliche Anpassungen des Modells nach dem Training erfordern, um Defizite oder unerwünschtes Verhalten zu beheben. In diesem Zusammenhang wächst das Interesse an effizienten, leichtgewichtigen Methoden für Echtzeit-Modifikationen. In den letzten Jahren hat sich daher eine Vielzahl von Techniken zur Wissensbearbeitung (knowledge editing) für LLMs entwickelt, die darauf abzielen, das Verhalten der Modelle innerhalb bestimmter Domänen effizient zu verändern, während die Gesamtleistung über verschiedene Eingaben hinweg erhalten bleibt. In diesem Artikel definieren wir zunächst das Problem der Wissensbearbeitung und führen anschließend eine umfassende Übersicht über aktuelle Ansätze durch. Inspiriert von Erziehungswissenschaftlichen und kognitiven Forschungstheorien schlagen wir ein einheitliches Klassifikationskriterium vor, das Wissensbearbeitungsmethoden in drei Kategorien unterteilt: Nutzung externer Wissensquellen, Integration von Wissen in das Modell sowie Bearbeitung intrinsischen Wissens. Darüber hinaus stellen wir einen neuen Benchmark, KnowEdit, vor, um repräsentative Ansätze der Wissensbearbeitung umfassend empirisch zu evaluieren. Zudem geben wir eine detaillierte Analyse der räumlichen Verteilung von Wissen innerhalb LLMs, die ein tieferes Verständnis der inhärenten Wissensstrukturen in diesen Modellen ermöglicht. Abschließend diskutieren wir mehrere potenzielle Anwendungen der Wissensbearbeitung und skizzieren deren breite und nachhaltige Auswirkungen.