Mesure de la généralisation compositionnelle : une méthode complète sur des données réalistes

Les méthodes d’apprentissage automatique de pointe présentent une généralisation compositionnelle limitée. Parallèlement, il existe un manque de benchmarks réalistes capables de mesurer de manière exhaustive cette capacité, ce qui rend difficile la découverte et l’évaluation des améliorations. Nous introduisons une nouvelle méthode permettant de construire systématiquement de tels benchmarks en maximisant la divergence composée tout en garantissant une faible divergence atomique entre les ensembles d’entraînement et de test. Nous comparons quantitativement cette méthode à d’autres approches de création de benchmarks de généralisation compositionnelle. Nous présentons un grand jeu de données réaliste pour la réponse à des questions en langage naturel, construit selon cette méthode, et l’utilisons pour analyser la capacité de généralisation compositionnelle de trois architectures d’apprentissage automatique. Nous constatons qu’elles échouent à généraliser de manière compositionnelle, et qu’il existe une corrélation négative surprenante et forte entre la divergence composée et la précision. Nous montrons également comment notre méthode peut être appliquée pour créer de nouveaux benchmarks de compositionnalité à partir du jeu de données existant SCAN, ce qui confirme ces résultats.