Du réajustement neuronal au classement neuronal : apprentissage d'une représentation creuse pour l'indexation inversée

La disponibilité de grandes quantités de données et d’une puissance de calcul suffisante pour permettre des approches neuronales fondées sur les données a un impact majeur sur la recherche en apprentissage automatique et en récupération d’information. Toutefois, ces modèles souffrent d’un problème fondamental d’efficacité. Les modèles de classement neuronaux actuels sont généralement implémentés sous forme de classificateurs en plusieurs étapes : pour des raisons d’efficacité, le modèle neuronal ne réordonne que les documents hautement classés retournés par un premier classificateur efficace en réponse à une requête donnée. En apprenant des représentations denses, ces modèles font correspondre essentiellement chaque terme de requête à chaque terme de document, ce qui rend le classement de l’ensemble de la collection extrêmement inefficace ou même intraitable. Le recours à un classificateur de première étape pose un double problème : premièrement, les effets d’interaction et de combinaison entre les étapes ne sont pas bien compris ; deuxièmement, le classificateur de première étape agit comme un « gardien » ou filtre, bloquant ainsi le potentiel des modèles neuronaux à découvrir de nouveaux documents pertinents.Dans ce travail, nous proposons un modèle de classement neuronal autonome (SNRM) en introduisant une propriété de sparsité afin d’apprendre une représentation latente creuse pour chaque requête et chaque document. Cette représentation capture la relation sémantique entre la requête et les documents, tout en étant suffisamment creuse pour permettre la construction d’un index inversé couvrant l’ensemble de la collection. Nous paramétrons la sparsité du modèle afin d’obtenir un modèle de récupération aussi efficace que les modèles classiques basés sur les termes. Notre modèle atteint une amélioration de l’efficacité sans perte d’efficacité : il surpasser non seulement les modèles de référence basés sur le correspondance de termes existants, mais se comporte également aussi bien que les modèles neuronaux récents basés sur le réordonnancement utilisant des représentations denses. De plus, notre modèle peut tirer parti du feedback de pertinence pseudo-réelle pour une amélioration supplémentaire. Plus généralement, nos résultats mettent en évidence l’importance de la sparsité dans les modèles neuronaux pour la récupération d’information (NeuralIR), et montrent que les représentations denses peuvent être efficacement élaguées, offrant ainsi de nouvelles perspectives sur les caractéristiques sémantiques essentielles et leur distribution.