HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Du réajustement neuronal au classement neuronal : apprentissage d'une représentation creuse pour l'indexation inversée

{Erik Learned-Miller W. Bruce Croft Mostafa Dehghani Hamed Zamani and Jaap Kamps}

Du réajustement neuronal au classement neuronal : apprentissage d'une représentation creuse pour l'indexation inversée

Résumé

La disponibilité de grandes quantités de données et d’une puissance de calcul suffisante pour permettre des approches neuronales fondées sur les données a un impact majeur sur la recherche en apprentissage automatique et en récupération d’information. Toutefois, ces modèles souffrent d’un problème fondamental d’efficacité. Les modèles de classement neuronaux actuels sont généralement implémentés sous forme de classificateurs en plusieurs étapes : pour des raisons d’efficacité, le modèle neuronal ne réordonne que les documents hautement classés retournés par un premier classificateur efficace en réponse à une requête donnée. En apprenant des représentations denses, ces modèles font correspondre essentiellement chaque terme de requête à chaque terme de document, ce qui rend le classement de l’ensemble de la collection extrêmement inefficace ou même intraitable. Le recours à un classificateur de première étape pose un double problème : premièrement, les effets d’interaction et de combinaison entre les étapes ne sont pas bien compris ; deuxièmement, le classificateur de première étape agit comme un « gardien » ou filtre, bloquant ainsi le potentiel des modèles neuronaux à découvrir de nouveaux documents pertinents.Dans ce travail, nous proposons un modèle de classement neuronal autonome (SNRM) en introduisant une propriété de sparsité afin d’apprendre une représentation latente creuse pour chaque requête et chaque document. Cette représentation capture la relation sémantique entre la requête et les documents, tout en étant suffisamment creuse pour permettre la construction d’un index inversé couvrant l’ensemble de la collection. Nous paramétrons la sparsité du modèle afin d’obtenir un modèle de récupération aussi efficace que les modèles classiques basés sur les termes. Notre modèle atteint une amélioration de l’efficacité sans perte d’efficacité : il surpasser non seulement les modèles de référence basés sur le correspondance de termes existants, mais se comporte également aussi bien que les modèles neuronaux récents basés sur le réordonnancement utilisant des représentations denses. De plus, notre modèle peut tirer parti du feedback de pertinence pseudo-réelle pour une amélioration supplémentaire. Plus généralement, nos résultats mettent en évidence l’importance de la sparsité dans les modèles neuronaux pour la récupération d’information (NeuralIR), et montrent que les représentations denses peuvent être efficacement élaguées, offrant ainsi de nouvelles perspectives sur les caractéristiques sémantiques essentielles et leur distribution.

Benchmarks

BenchmarkMéthodologieMétriques
ad-hoc-information-retrieval-on-trec-robust04SNRM-PRF
MAP: 0.2971
P@20: 0.3948
nDCG@20: 0.4391
ad-hoc-information-retrieval-on-trec-robust04SNRM
MAP: 0.2856
P@20: 0.3766
nDCG@20: 0.4310
ad-hoc-information-retrieval-on-trec-robust04QL
MAP: 0.2499

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Du réajustement neuronal au classement neuronal : apprentissage d'une représentation creuse pour l'indexation inversée | Articles de recherche | HyperAI