Samuel Schapiro Sumuk Shashidhar Alexi Gladstone Jonah Black Royce Moon Dilek Hakkani-Tur Lav R. Varshney

Abstract

Künstliche Intelligenz-Systeme, insbesondere große Sprachmodelle (Large Language Models, LLMs), werden zunehmend für kreative Aufgaben wie die Generierung wissenschaftlicher Ideen eingesetzt und stellen damit eine Form der Generalisierung aus Trainingsdaten dar, die durch bestehende konzeptionelle Rahmenwerke bisher nicht adressiert wurde. Obwohl sie in vielerlei Hinsicht Ähnlichkeiten mit der kompositionellen Generalisierung (Compositional Generalization, CG) aufweisen, ist kombinatorische Kreativität (Combinatorial Creativity, CC) eine offene, nicht abgeschlossene Fähigkeit. Anstatt die Ergebnisse an festen Zielen auf Richtigkeit oder Genauigkeit zu prüfen – was dem offenen Charakter der CC widersprechen würde – schlagen wir ein theoretisches Rahmenwerk sowie eine algorithmische Aufgabenstellung vor, um die Ausgaben anhand ihres Grades an Neuheit und Nutzen zu bewerten. Hieraus ergeben sich mehrere bedeutende empirische Beiträge: (1) Wir gewinnen erstmals Einblicke in das Skalierungsverhalten von Kreativität bei LLMs. (2) Wir entdecken, dass bei festen Compute-Budgets optimale Modell-Tiefen und -Breiten für kreative Fähigkeiten existieren. (3) Wir beobachten, dass die Kluft zwischen Ideengenerierung und Umsetzung – bei der LLMs hervorragend in der Erzeugung neuartiger wissenschaftlicher Ideen sind, jedoch Schwierigkeiten haben, deren praktische Umsetzbarkeit sicherzustellen – möglicherweise auf eine grundlegendere Neuheit-Nutzen-Abwägung zurückzuführen ist, die allgemein für Kreativitätsalgorithmen charakteristisch ist. Wichtig ist, dass dieser Kompromiss auch bei größeren Skalen bestehen bleibt und somit Zweifel an der langfristigen kreativen Potenzialität von LLMs in ihrer aktuellen Form aufkommen lassen. Zusammenfassend liefert unser konzeptionelles Rahmenwerk sowie unsere empirischen Erkenntnisse eine Grundlage zur Verständnis und Verbesserung von Kreativität in modernen KI-Modellen und markiert eine neue Front in der Entwicklung von Generalisierungsfähigkeiten.