Récupération basée sur des similarités apprises

La recherche joue un rôle fondamental dans les systèmes de recommandation, les moteurs de recherche et le traitement du langage naturel (NLP) en permettant d’extraire efficacement des éléments pertinents à partir d’un corpus volumineux à partir d’une requête. Les produits scalaires ont largement été utilisés comme fonction de similarité dans ces tâches, grâce aux algorithmes de recherche de produit scalaire maximal (MIPS) qui garantissent une récupération efficace. Toutefois, les algorithmes de recherche les plus avancés ont progressivement adopté des mesures de similarité apprises. Ces approches modernes incluent des embeddings de requête multiples, des réseaux neuronaux complexes, le décodage direct des identifiants d’éléments via une recherche par faisceau (beam search), ainsi que des solutions hybrides. Malheureusement, nous manquons encore de solutions efficaces pour la récupération dans ces architectures de pointe. Ce travail comble cette lacune en explorant des techniques de récupération efficaces basées sur des fonctions de similarité apprises expressives. Nous établissons la Mixture-of-Logits (MoL) comme un approximant universel des fonctions de similarité, démontrons empiriquement que son expressivité peut être exploitée pour atteindre des performances supérieures dans divers scénarios de récupération, et proposons des méthodes permettant de récupérer les résultats approximatifs des k meilleurs éléments avec des bornes d’erreur serrées. À travers des expérimentations étendues, nous montrons que la MoL, améliorée par une perte d’équilibrage de charge basée sur l’information mutuelle que nous proposons, établit de nouveaux états de l’art sur des scénarios hétérogènes, incluant les modèles de récupération séquentielle dans les systèmes de recommandation et le fine-tuning de modèles linguistiques pour la réponse à des questions ; de plus, nos algorithmes d’approximation des k meilleurs résultats surpassent les méthodes de référence jusqu’à 66 fois en latence tout en atteignant un taux de rappel supérieur à 0,99 par rapport aux algorithmes exacts.