Entraînement bout-en-bout d’un lecteur et d’un récupérateur à documents multiples pour la réponse à des questions dans un domaine ouvert

Nous présentons une méthode d’entraînement end-to-end différentiable pour les systèmes de réponse à questions ouvertes à domaine large basés sur la récupération, qui combinent des informations provenant de plusieurs documents récupérés lors de la génération des réponses. Nous modélisons les décisions de récupération comme des variables latentes sur des ensembles de documents pertinents. Étant donné que l’intégration sur des ensembles de documents récupérés est computationnellement coûteuse, nous l’approximons à l’aide d’un algorithme d’expectation-maximisation. Nous estimons itérativement la valeur de notre variable latente (l’ensemble de documents pertinents pour une question donnée), puis utilisons cette estimation pour mettre à jour les paramètres du module de récupération et du module de lecture. Nous supposons que cet entraînement end-to-end permet une meilleure propagation des signaux d’entraînement vers le lecteur, puis vers le récupérateur, comparé à une approche par étapes. Cela conduit à un récupérateur capable de sélectionner des documents plus pertinents pour une question donnée, et à un lecteur entraîné sur des documents plus précis, ce qui améliore la qualité de la réponse générée. Des expériences menées sur trois jeux de données standard montrent que notre méthode dépasse toutes les approches existantes de taille comparable de 2 à 3 points de pourcentage en exact match absolu, atteignant ainsi de nouveaux records d’état de l’art. Nos résultats démontrent également la faisabilité d’apprendre à récupérer afin d’améliorer la génération de réponses, sans supervision explicite des décisions de récupération.