HyperAIHyperAI

Command Palette

Search for a command to run...

Encodeur Universel de Phrases

Kenton Lee Jesse Vigil Chang Liu Pang-Wen Tsai

Résumé

Nous présentons des modèles pour l'encodage de phrases en vecteurs d'embedding, spécifiquement conçus pour le transfert d'apprentissage vers d'autres tâches de traitement du langage naturel (NLP). Ces modèles sont efficaces et offrent des performances précises sur une variété de tâches de transfert. Deux variantes des modèles d'encodage permettent des compromis entre la précision et les ressources informatiques. Pour ces deux variantes, nous examinons et rapportons la relation entre la complexité du modèle, la consommation de ressources, la disponibilité de données d'entraînement pour les tâches de transfert et les performances de ces tâches. Nous comparons nos résultats avec des baselines utilisant le transfert d'apprentissage au niveau des mots via des embeddings de mots pré-entraînés ainsi qu'avec des baselines ne faisant pas usage de transfert d'apprentissage. Nous constatons que le transfert d'apprentissage utilisant des embeddings de phrases tend à surpasser le transfert au niveau des mots. Avec le transfert d'apprentissage via des embeddings de phrases, nous observons une performance remarquablement bonne même avec une quantité minimale de données d'entraînement supervisées pour une tâche de transfert. Nous obtenons également des résultats encourageants sur les tests d'association par embeddings de mots (WEAT) visant à détecter les biais du modèle. Nos modèles pré-entraînés d'encodage de phrases sont mis gratuitement à disposition pour téléchargement et sur TF Hub.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Encodeur Universel de Phrases | Articles | HyperAI