Distillation d'ensemble Bayésienne maximale pour l'analyse AMR

La transformation syntaxique des représentations sémantiques (AMR) a connu une augmentation sans précédent de ses performances au cours des trois dernières années, en raison d’un ensemble de facteurs incluant des améliorations architecturales et l’apprentissage par transfert. Les techniques d’apprentissage auto-supervisé ont également contribué à cette progression. Toutefois, pour la plupart des parseurs récents à haut rendement, l’effet de l’apprentissage auto-supervisé et de l’augmentation de données par « silver » semble désormais s’atténuer. Dans ce papier, nous proposons de surmonter cette décroissance des rendements apportés par les données silver en combinant des techniques d’ensemblage basées sur Smatch avec une distillation d’ensemblage. Dans un cadre expérimental étendu, nous atteignons un nouveau record de performance pour les parseurs monolinguistiques en anglais, avec des scores respectifs de 85,9 (AMR2.0) et 84,3 (AMR3.0), tout en retrouvant des gains significatifs grâce à l’augmentation de données par « silver ». Nous obtenons également un nouveau record pour la tâche de parseur AMR multilingue, sur les langues chinoise, allemande, italienne et espagnole. Enfin, nous étudions l’impact de la technique proposée sur l’adaptation de domaine, et montrons qu’elle permet d’obtenir des gains comparables à ceux des données annotées par des humains sur le corpus QALD-9, tout en atteignant un nouveau record sur le jeu de données BioAMR.