Récupération comme Attention : Apprentissage end-to-end de la récupération et de la lecture au sein d'un seul Transformer

Les systèmes destinés aux tâches à forte intensité de connaissance, telles que la réponse à des questions dans un domaine ouvert (QA), reposent généralement sur deux étapes : une récupération efficace de documents pertinents à partir d’un grand corpus, suivie d’une lecture détaillée des documents sélectionnés afin de générer des réponses. Les modules de récupération (retrievers) et de lecture (readers) sont habituellement modélisés de manière séparée, ce qui conduit à une implémentation complexe et rend difficile l’entraînement et l’adaptation en mode end-to-end. Dans cet article, nous reprenons cette approche et abandonnons l’architecture et l’entraînement séparés au profit d’un unique modèle Transformer, appelé ReAtt (Retrieval as Attention), qui intègre la récupération via une attention, et qui est entraîné de manière entièrement end-to-end uniquement à partir de la supervision issue de la tâche finale de QA. Nous démontrons pour la première fois qu’un modèle unique entraîné de manière end-to-end peut atteindre des performances compétitives à la fois en récupération et en réponse aux questions, égalant ou légèrement dépassant les meilleurs systèmes séparément entraînés pour la récupération et la lecture. De plus, l’adaptation end-to-end améliore significativement les performances sur des jeux de données hors domaine, tant dans des scénarios supervisés que non supervisés, rendant notre modèle une solution simple et adaptable pour les tâches à forte intensité de connaissance. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/jzbjyb/ReAtt.