HyperAIHyperAI

Command Palette

Search for a command to run...

Plongements de texte par pré-entraînement contrastif faiblement supervisé

Liang Wang; Nan Yang; Xiaolong Huang; Binxing Jiao; Linjun Yang; Daxin Jiang; Rangan Majumder; Furu Wei

Résumé

Ce document présente E5, une famille de modèles d'embeddings textuels de pointe qui se transfèrent bien à une large gamme de tâches. Le modèle est formé de manière contrastive avec des signaux de supervision faible issus de notre jeu de données à grande échelle de paires textuelles soigneusement curatées (appelé CCPairs). E5 peut être utilisé sans difficulté comme modèle d'embedding généraliste pour toute tâche nécessitant une représentation vectorielle unique des textes, tels que la recherche, le regroupement et la classification, en obtenant des performances solides dans les configurations zéro-shot et fine-tuned. Nous menons des évaluations approfondies sur 56 jeux de données provenant des benchmarks BEIR et MTEB. Pour les configurations zéro-shot, E5 est le premier modèle à surpasser la référence robuste BM25 sur le benchmark BEIR de recherche sans utiliser aucune donnée étiquetée. Lorsqu'il est fine-tuned, E5 obtient les meilleurs résultats sur le benchmark MTEB, surpassant les modèles d'embedding existants dotés de 40 fois plus de paramètres.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp