Adversarial GLUE : Une base de données multi-tâches pour l’évaluation de la robustesse des modèles de langage

Les grands modèles linguistiques pré-entraînés ont connu un succès considérable dans un large éventail de tâches de compréhension du langage naturel (NLU), dépassant parfois même les performances humaines. Toutefois, des études récentes révèlent que la robustesse de ces modèles peut être compromise par des exemples adverses textuels soigneusement conçus. Bien que plusieurs jeux de données individuels aient été proposés pour évaluer la robustesse des modèles, un benchmark rigoureux et exhaustif fait encore défaut. Dans cet article, nous présentons Adversarial GLUE (AdvGLUE), un nouveau benchmark multi-tâches visant à explorer et évaluer de manière quantitative et approfondie les vulnérabilités des grands modèles linguistiques modernes face à divers types d'attaques adverses. Plus précisément, nous appliquons de manière systématique 14 méthodes d'attaque adverses textuelles aux tâches GLUE afin de construire AdvGLUE, qui est par la suite validée par des humains afin d'assurer des annotations fiables. Nos principales observations sont les suivantes : (i) La plupart des algorithmes d'attaque adverses existants ont tendance à générer des exemples adverses invalides ou ambigus, environ 90 % d'entre eux modifiant soit le sens sémantique original, soit induisant en erreur les annotateurs humains. Nous avons donc mené un processus de filtrage rigoureux afin de constituer un benchmark de haute qualité. (ii) Tous les modèles linguistiques et méthodes d'entraînement robustes que nous avons testés obtiennent de mauvaises performances sur AdvGLUE, leurs scores s'écartant considérablement de la précision sur les données non altérées. Nous espérons que notre travail incitera au développement de nouvelles attaques adverses plus discrètes et mieux préservant le sens sémantique, ainsi que de nouveaux modèles linguistiques robustes capables de résister à des attaques adverses sophistiquées. AdvGLUE est disponible à l'adresse suivante : https://adversarialglue.github.io.