Mesure et réduction de l'écart de compositionnalité dans les modèles de langage

Nous étudions la capacité des modèles linguistiques à effectuer des tâches de raisonnement compositional, dans lesquelles la solution globale dépend de la composition correcte des réponses aux sous-problèmes. Nous mesurons la fréquence à laquelle les modèles parviennent à répondre correctement à tous les sous-problèmes, mais échouent à générer la solution globale — un ratio que nous appelons l’écart de compositionnalité. Nous évaluons ce ratio en posant des questions à plusieurs sauts (multi-hop), dont les réponses nécessitent la combinaison de plusieurs faits peu susceptibles d’avoir été observés ensemble durant l’entraînement préalable. Dans la famille de modèles GPT-3, nous montrons que, à mesure que la taille du modèle augmente, la performance en réponse aux questions à un seul saut s’améliore plus rapidement que celle aux questions à plusieurs sauts ; par conséquent, l’écart de compositionnalité ne diminue pas. Ce résultat surprenant suggère que, bien que les modèles plus puissants mémorisent et rappellent davantage de connaissances factuelles, ils ne montrent aucune amélioration correspondante dans leur capacité à effectuer ce type de raisonnement compositional.Nous démontrons ensuite comment une stimulation élicitative (comme la chaîne de raisonnement, chain of thought) réduit l’écart de compositionnalité en rendant le raisonnement explicite. Nous proposons une nouvelle méthode, self-ask, qui améliore davantage la chaîne de raisonnement. Dans notre approche, le modèle se pose explicitement à lui-même (et y répond) des questions complémentaires avant de répondre à la question initiale. Enfin, nous montrons que la stimulation structurée de self-ask permet facilement d’intégrer un moteur de recherche pour répondre aux questions complémentaires, ce qui améliore encore davantage la précision.