Modèles de classement neuronal avec supervision faible

Malgré les améliorations impressionnantes réalisées par les réseaux neuronaux profonds non supervisés dans les tâches de vision par ordinateur et de traitement du langage naturel, de telles améliorations n'ont pas encore été observées en classement pour la recherche d'information. La raison pourrait être la complexité du problème de classement, car il n'est pas évident comment apprendre à partir de requêtes et de documents lorsque aucun signal supervisé n'est disponible. Ainsi, dans cet article, nous proposons d'entraîner un modèle de classement neuronal en utilisant une supervision faible, où les étiquettes sont obtenues automatiquement sans annotateurs humains ou aucune ressource externe (par exemple, données de clics). Pour ce faire, nous utilisons la sortie d'un modèle de classement non supervisé, comme BM25, comme signal de supervision faible. Nous entraînons ensuite un ensemble de modèles de classement simples mais efficaces basés sur des réseaux neuronaux à propagation avant. Nous étudions leur efficacité dans divers scénarios d'apprentissage (modèles point-par-point et paire-par-paire) et en utilisant différentes représentations d'entrée (c'est-à-dire, en codant des paires requête-document en vecteurs denses/épars ou en utilisant une représentation par plongement lexical). Nous entraînons nos réseaux avec des dizaines de millions d'exemples d'entraînement et les évaluons sur deux collections standards : une collection homogène de nouvelles (Robust) et une grande collection hétérogène du web (ClueWeb). Nos expériences indiquent que l'utilisation de fonctions objectifs appropriées et le fait de permettre aux réseaux d'apprendre la représentation d'entrée basée sur des données faiblement supervisées conduit à des performances impressionnantes, avec plus de 13 % et 35 % d'amélioration du MAP par rapport au modèle BM25 sur les collections Robust et ClueWeb. Nos résultats suggèrent également que les modèles de classement neuronal supervisés peuvent bénéficier considérablement d'un pré-entraînement sur de grandes quantités de données faiblement étiquetées qui peuvent être facilement obtenues à partir des modèles IR non supervisés.