Le Dense Retriever est le composant d'optimisation central de Revela, un nouveau cadre d'apprentissage auto-supervisé. Ce cadre a été proposé par une équipe conjointe de l'Université technique de Darmstadt, de l'Université de Washington, de l'Université Carnegie Mellon, de Microsoft et du laboratoire d'intelligence artificielle de Tencent ; les résultats de recherche associés ont été publiés dans un article. Revela : Apprentissage dense de retrievers via la modélisation du langageElle a été acceptée par ICLR 2026.

Le principe fondamental des moteurs de recherche denses consiste à projeter les requêtes et les documents dans un espace vectoriel de grande dimension, puis à déterminer la pertinence du contenu en calculant la similarité vectorielle, permettant ainsi aux modèles de langage d'acquérir une expertise externe. Traditionnellement, l'entraînement de moteurs de recherche denses performants repose fortement sur des données requête-document étiquetées manuellement, ce qui représente un coût important et rend leur application à grande échelle difficile dans des domaines professionnels complexes tels que la programmation. Dans les dernières recherches de Revela, les moteurs de recherche denses ont complètement surmonté cet obstacle : ils sont astucieusement intégrés à la tâche de « prédiction du mot suivant » des modèles de langage et optimisés conjointement grâce à l'introduction d'un mécanisme d'attention inter-documents. Les expériences montrent que ce moteur de recherche dense, entraîné sans données étiquetées, surpasse non seulement les modèles supervisés avec un plus grand nombre de paramètres dans des domaines spécifiques et pour des tâches de raisonnement complexes, mais atteint également des performances de pointe dans des domaines généraux, avec des coûts de données et de calcul extrêmement faibles.