GLUE : Un banc d'essai et une plateforme d'analyse multi-tâches pour la compréhension du langage naturel

Pour que la technologie de compréhension du langage naturel (NLU) soit pleinement utile, tant sur le plan pratique qu'en tant qu'objet d'étude scientifique, elle doit être générale : elle doit être capable de traiter le langage de manière non exclusivement adaptée à une tâche ou un ensemble de données spécifique. Dans cette optique, nous présentons le benchmark d'évaluation de la compréhension générale du langage (GLUE), un outil permettant d'évaluer et d'analyser les performances des modèles sur une gamme variée de tâches existantes en NLU. GLUE est indépendant du modèle, mais il encourage le partage des connaissances entre les tâches car certaines tâches disposent de très peu de données d'entraînement. Nous fournissons également une suite de tests diagnostiques élaborés manuellement qui permet une analyse linguistique détaillée des modèles NLU. Nous évaluons des méthodes de base fondées sur les approches actuelles d'apprentissage multi-tâches et de transfert et constatons qu'elles ne donnent pas immédiatement des améliorations substantielles par rapport aux performances cumulées de l'entraînement séparé d'un modèle pour chaque tâche, ce qui laisse entrevoir un potentiel d'amélioration dans le développement de systèmes NLU généraux et robustes.