Apprentissage supervisé de représentations universelles de phrases à partir de données d'inférence en langage naturel

De nombreux systèmes de traitement du langage naturel (NLP) modernes s'appuient sur des plongements de mots (word embeddings), préalablement entraînés de manière non supervisée sur de grands corpus, en tant que caractéristiques de base. Cependant, les efforts déployés pour obtenir des plongements pour des segments de texte plus importants, tels que des phrases, n'ont pas été aussi fructueux. Plusieurs tentatives d'apprentissage de représentations non supervisées de phrases n'ont pas atteint une performance suffisamment satisfaisante pour être largement adoptées. Dans cet article, nous montrons comment les représentations universelles de phrases entraînées à l'aide des données supervisées des ensembles de données d'inférence naturelle en langue stanfordienne (Stanford Natural Language Inference datasets) peuvent constamment surpasser les méthodes non supervisées comme les vecteurs SkipThought sur une large gamme de tâches de transfert. De la même manière que la vision par ordinateur utilise ImageNet pour obtenir des caractéristiques qui peuvent ensuite être transférées à d'autres tâches, notre travail tend à indiquer l'adéquation de l'inférence naturelle en langue pour le transfert d'apprentissage vers d'autres tâches NLP. Notre encodeur est disponible au public.