Apprentissage de représentations denses de phrases à grande échelle

La réponse à des questions dans un domaine ouvert peut être reformulée comme un problème de recherche de phrases, sans nécessiter le traitement de documents en temps réel durant l'inférence (Seo et al., 2019). Toutefois, les modèles actuels de recherche de phrases dépendent fortement de représentations creuses et restent inférieurs aux approches de type « retrieve-and-read ». Dans ce travail, nous montrons pour la première fois qu’il est possible d’apprendre des représentations denses uniquement sur les phrases, permettant ainsi des performances nettement supérieures dans les tâches de réponse à questions ouvertes. Nous proposons une méthode efficace pour apprendre ces représentations à partir de la supervision de tâches de compréhension de lecture, combinée à de nouveaux mécanismes d’échantillonnage négatif. Nous introduisons également une stratégie d’ajustage fin sur le côté requête, permettant une meilleure généralisation par apprentissage transféré et réduisant l’écart entre l’entraînement et l’inférence. Sur cinq jeux de données populaires pour la réponse à questions ouvertes, notre modèle DensePhrases améliore les modèles précédents de recherche de phrases de 15 à 25 points de précision absolue, tout en atteignant les performances des meilleurs modèles de type « retrieve-and-read ». Grâce à l’utilisation exclusive de représentations denses, notre modèle est facilement parallélisable et traite plus de 10 questions par seconde sur des processeurs classiques. Enfin, nous utilisons directement nos représentations de phrases denses pré-indexées pour deux tâches de remplissage de champs, démontrant ainsi le potentiel de DensePhrases comme base de connaissances dense pour des tâches ultérieures.