CommonGen : un défi de génération de texte contrainte pour le raisonnement communautaire génératif

Récemment, les grands modèles préentraînés de langage ont fait preuve d'une performance remarquable sur plusieurs jeux de données de référence pour le raisonnement du sens commun. Toutefois, concevoir des machines capables de mobiliser le sens commun afin de générer des phrases réalistes et cohérentes reste un défi. Dans cet article, nous introduisons une tâche contrainte de génération de texte, appelée CommonGen, accompagnée d’un jeu de données de référence, afin de tester explicitement la capacité des systèmes à raisonner de manière générative sur le sens commun. Étant donné un ensemble de concepts courants (par exemple, {chien, frisbee, attraper, lancer}), la tâche consiste à générer une phrase cohérente décrivant une situation quotidienne utilisant ces concepts (par exemple, « un homme lance un frisbee et son chien le rattrape »).La tâche CommonGen est particulièrement difficile car elle suppose intrinsèquement deux capacités : 1) un raisonnement relationnel fondé sur des connaissances du sens commun contextuelles, et 2) une capacité de généralisation compositionnelle permettant de traiter des combinaisons de concepts inédites. Notre jeu de données, construit à partir d'une combinaison de corpus de descriptions issues de travaux collaboratifs en ligne et de corpus existants, comprend 79 000 descriptions du sens commun réparties sur 35 000 ensembles uniques de concepts. Les expériences montrent un écart important entre les performances des meilleurs modèles de génération de texte actuels (tels que T5) et celles des humains. En outre, nous démontrons que la capacité d’inférence du sens commun générative apprise peut être transférée pour améliorer des tâches en aval, telles que CommonsenseQA, en générant un contexte supplémentaire.