Encodeur Universel de Phrases

Nous présentons des modèles pour l'encodage de phrases en vecteurs d'embedding, spécifiquement conçus pour le transfert d'apprentissage vers d'autres tâches de traitement du langage naturel (NLP). Ces modèles sont efficaces et offrent des performances précises sur une variété de tâches de transfert. Deux variantes des modèles d'encodage permettent des compromis entre la précision et les ressources informatiques. Pour ces deux variantes, nous examinons et rapportons la relation entre la complexité du modèle, la consommation de ressources, la disponibilité de données d'entraînement pour les tâches de transfert et les performances de ces tâches. Nous comparons nos résultats avec des baselines utilisant le transfert d'apprentissage au niveau des mots via des embeddings de mots pré-entraînés ainsi qu'avec des baselines ne faisant pas usage de transfert d'apprentissage. Nous constatons que le transfert d'apprentissage utilisant des embeddings de phrases tend à surpasser le transfert au niveau des mots. Avec le transfert d'apprentissage via des embeddings de phrases, nous observons une performance remarquablement bonne même avec une quantité minimale de données d'entraînement supervisées pour une tâche de transfert. Nous obtenons également des résultats encourageants sur les tests d'association par embeddings de mots (WEAT) visant à détecter les biais du modèle. Nos modèles pré-entraînés d'encodage de phrases sont mis gratuitement à disposition pour téléchargement et sur TF Hub.