HyperAIHyperAI

Command Palette

Search for a command to run...

Réduction de dimension pour une récupération dense efficace via un autoencodeur conditionnel

Zhenghao Liu Han Zhang Chenyan Xiong Zhiyuan Liu Yu Gu Xiaohua Li

Résumé

Les récupérateurs denses encodent les requêtes et les documents, puis les projettent dans un espace d’embeddings à l’aide de modèles linguistiques pré-entraînés. Ces embeddings doivent être à haute dimension afin de capturer efficacement les signaux d’apprentissage et garantir l’efficacité du processus de récupération. Toutefois, ces embeddings à haute dimension entraînent une augmentation de la taille du stockage de l’index ainsi qu’une latence accrue lors de la récupération. Afin de réduire la dimension des embeddings dans les systèmes de récupération dense, ce papier propose un Autoencodeur Conditionnel (ConAE) visant à compresser les embeddings à haute dimension tout en préservant la même distribution d’embeddings et en améliorant la reconstruction des caractéristiques de classement. Nos expériences montrent que ConAE est efficace pour compresser les embeddings, en atteignant des performances de classement comparables à celles de son modèle enseignant, tout en rendant le système de récupération plus performant. Des analyses supplémentaires révèlent que ConAE permet de réduire la redondance des embeddings dans les récupérateurs denses, même avec une seule couche linéaire. Tous les codes associés à ce travail sont disponibles à l’adresse suivante : https://github.com/NEUIR/ConAE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp