HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage supervisé de représentations universelles de phrases à partir de données d'inférence en langage naturel

Alexis Conneau; Douwe Kiela; Holger Schwenk; Loic Barrault; Antoine Bordes

Résumé

De nombreux systèmes de traitement du langage naturel (NLP) modernes s'appuient sur des plongements de mots (word embeddings), préalablement entraînés de manière non supervisée sur de grands corpus, en tant que caractéristiques de base. Cependant, les efforts déployés pour obtenir des plongements pour des segments de texte plus importants, tels que des phrases, n'ont pas été aussi fructueux. Plusieurs tentatives d'apprentissage de représentations non supervisées de phrases n'ont pas atteint une performance suffisamment satisfaisante pour être largement adoptées. Dans cet article, nous montrons comment les représentations universelles de phrases entraînées à l'aide des données supervisées des ensembles de données d'inférence naturelle en langue stanfordienne (Stanford Natural Language Inference datasets) peuvent constamment surpasser les méthodes non supervisées comme les vecteurs SkipThought sur une large gamme de tâches de transfert. De la même manière que la vision par ordinateur utilise ImageNet pour obtenir des caractéristiques qui peuvent ensuite être transférées à d'autres tâches, notre travail tend à indiquer l'adéquation de l'inférence naturelle en langue pour le transfert d'apprentissage vers d'autres tâches NLP. Notre encodeur est disponible au public.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage supervisé de représentations universelles de phrases à partir de données d'inférence en langage naturel | Articles | HyperAI