HyperAIHyperAI

Command Palette

Search for a command to run...

PARADE : Agrégation de Représentations de Passages pour le Réclassement de Documents

Canjia Li Andrew Yates Sean MacAvaney Ben He Yingfei Sun

Résumé

Les modèles de transformateur préentraînés, tels que BERT et T5, ont démontré leur efficacité considérable pour le classement ad hoc de passages et de documents. En raison des limites inhérentes à la longueur des séquences dans ces modèles, ils doivent être appliqués aux passages d'un document plutôt que de traiter l'ensemble du document en une seule fois. Bien que plusieurs approches pour l'agrégation des signaux au niveau des passages aient été proposées, aucune comparaison exhaustive de ces techniques n'a encore été réalisée. Dans cette étude, nous explorons des stratégies permettant d'agréger les signaux de pertinence provenant des passages d'un document afin d'en obtenir un score final de classement. Nous constatons que les techniques d'agrégation des représentations de passages peuvent améliorer significativement les méthodes proposées précédemment, comme la prise du score maximal d'un passage. Nous appelons cette nouvelle approche PARADE. Plus particulièrement, PARADE peut améliorer considérablement les résultats sur des collections avec des besoins d'information larges où les signaux de pertinence sont répartis tout au long du document (comme TREC Robust04 et GOV2). Parallèlement, des techniques d'agrégation moins complexes peuvent se révéler plus efficaces sur des collections où le besoin d'information peut souvent être localisé à un seul passage (comme TREC DL et TREC Genomics). Nous menons également des analyses de l'efficacité et mettons en lumière plusieurs stratégies pour améliorer l'agrégation basée sur les transformateurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp