ColBERTv2 : Récupération efficace et performante grâce à une interaction tardive légère

La recherche d'information neuronale (IR) a considérablement progressé dans les tâches de recherche et d'autres applications linguistiques intensives en connaissance. Bien que de nombreuses méthodes d'IR neuronale codent les requêtes et les documents sous forme de représentations à vecteur unique, les modèles à interaction tardive produisent des représentations multi-vecteurs au niveau de chaque token et décomposent le modèle de pertinence en calculs scalables au niveau du token. Cette décomposition a été démontrée comme étant plus efficace, mais elle augmente d’un ordre de grandeur la consommation mémoire de ces modèles. Dans ce travail, nous introduisons ColBERTv2, un modèle de récupération qui associe un mécanisme de compression résiduelle agressif à une stratégie de supervision débruitée afin d’améliorer simultanément la qualité et la consommation mémoire des modèles à interaction tardive. Nous évaluons ColBERTv2 sur une large gamme de benchmarks, établissant un état de l’art en termes de qualité, tant à l’intérieur qu’à l’extérieur du domaine d’entraînement, tout en réduisant la consommation mémoire des modèles à interaction tardive de 6 à 10 fois.