Répondre à des questions ouvertes à domaine variable impliquant des étapes de raisonnement diverses à partir de textes

Nous développons un système unifié permettant de répondre directement à des questions ouvertes posées sur des textes, qui peuvent nécessiter un nombre variable d’étapes de récupération. Nous utilisons un seul modèle transformer multi-tâches pour effectuer itérativement toutes les sous-tâches nécessaires : récupérer les faits pertinents, les reranger, puis prédire la réponse à partir de tous les documents récupérés. Contrairement aux travaux antérieurs, nous évitons des hypothèses critiques qui ne se transforment pas bien dans des environnements réels, notamment l’exploitation d’une connaissance préalable sur le nombre fixe d’étapes de récupération requis pour chaque question, ou l’utilisation de métadonnées structurées telles que des bases de connaissances ou des liens web, dont la disponibilité est limitée. À la place, nous concevons un système capable de répondre à des questions ouvertes sur toute collection de textes, sans aucune connaissance préalable sur la complexité du raisonnement. Pour simuler ce cadre, nous construisons une nouvelle base d’évaluation, appelée BeerQA, en combinant des jeux de données existants à une étape et à deux étapes avec une nouvelle collection de 530 questions nécessitant trois pages Wikipedia pour être résolues, tout en unifiant en même temps les différentes versions des corpus Wikipedia. Nous démontrons que notre modèle obtient des performances compétitives sur les bases d’évaluation existantes ainsi que sur cette nouvelle base. La nouvelle base est mise à disposition à l’adresse suivante : https://beerqa.github.io/.