Samuel Schapiro Sumuk Shashidhar Alexi Gladstone Jonah Black Royce Moon Dilek Hakkani-Tur Lav R. Varshney

Résumé

Les systèmes d’intelligence artificielle (IA), et plus particulièrement les grands modèles linguistiques (GML), sont de plus en plus utilisés pour des tâches créatives telles que la génération d'idées scientifiques, ce qui constitue une forme de généralisation à partir des données d’entraînement non prise en compte par les cadres conceptuels existants. Bien qu’ils présentent de nombreuses similitudes avec la généralisation compositionnelle (GC), la créativité combinatoire (CC) est une capacité ouverte. Contrairement à une évaluation basée sur une exactitude ou une correction par rapport à des cibles fixes — ce qui contredirait la nature ouverte de la CC —, nous proposons un cadre théorique et une tâche algorithmique pour évaluer les sorties selon leurs degrés de nouveauté et d’utilité. À partir de ce cadre, nous apportons plusieurs contributions empiriques importantes : (1) Nous obtenons les premières observations sur le comportement d’échelle de la créativité chez les GML. (2) Nous constatons qu’avec un budget de calcul fixe, il existe des profondeurs et largeurs optimales du modèle pour maximiser la capacité créative. (3) Nous montrons que le fossé entre la génération d’idées et leur exécution — caractérisé par le fait que les GML excèlent à produire des idées scientifiques novatrices, mais peinent à garantir leur faisabilité pratique — pourrait s’expliquer par un compromis fondamental entre nouveauté et utilité, propre aux algorithmes de créativité en général. Notamment, ce compromis persiste même à grande échelle, remettant en question la capacité créative à long terme des GML dans leur forme actuelle. Ensemble, notre cadre conceptuel et nos résultats empiriques établissent une base pour comprendre et améliorer la créativité dans les modèles d’IA modernes, marquant ainsi une nouvelle frontière dans les capacités de généralisation.