Amélioration de la compréhension du langage par une pré-formation générative

L'understanding du langage naturel englobe une large gamme de tâches diverses, telles que l'entailment textuel, la réponse aux questions, l'évaluation de la similarité sémantique et la classification de documents. Bien que de vastes corpus de textes non étiquetés soient abondants, les données étiquetées nécessaires pour apprendre ces tâches spécifiques sont rares, ce qui rend difficile pour les modèles entraînés de manière discriminative de performer de manière adéquate. Nous montrons qu'une amélioration significative de ces tâches peut être obtenue grâce à un pré-entraînement génératif d'un modèle de langage sur un corpus diversifié de textes non étiquetés, suivi d'un fin-tuning discriminatif sur chaque tâche spécifique. Contrairement aux approches précédentes, nous utilisons des transformations d'entrée conscientes de la tâche lors du fin-tuning, permettant ainsi un transfert efficace tout en nécessitant des modifications minimales de l'architecture du modèle. Nous démontrons l'efficacité de notre approche sur une large gamme de benchmarks pour l'understanding du langage naturel. Notre modèle généraliste, indépendant de la tâche, surpasser les modèles entraînés de manière discriminative utilisant des architectures spécifiquement conçues pour chaque tâche, améliorant significativement l'état de l'art dans 9 des 12 tâches étudiées. Par exemple, nous obtenons des gains absolus de 8,9 % en raisonnement de bon sens (Stories Cloze Test), de 5,7 % en réponse aux questions (RACE) et de 1,5 % en entailment textuel (MultiNLI).