Un jeu de données de questions et réponses axées sur la recherche d'information, ancré dans des articles scientifiques

Les lecteurs de publications scientifiques ont souvent pour objectif de répondre à des questions spécifiques. Les systèmes de question-réponse capables de répondre à ces questions peuvent considérablement améliorer l’efficacité de la consommation du contenu. Toutefois, la construction de tels outils nécessite des données reflétant la difficulté intrinsèque de la tâche, découlant de raisonnements complexes sur des affirmations formulées dans différentes parties d’un article. À l’inverse, les jeux de données existants pour la question-réponse à visée informationnelle contiennent généralement des questions portant sur des faits simples et triviaux. Nous présentons donc QASPER, un jeu de données comprenant 5 049 questions posées sur 1 585 articles de traitement du langage naturel (NLP). Chaque question est rédigée par un praticien du NLP ayant lu uniquement le titre et le résumé de l’article correspondant, et la question vise à extraire une information présente dans le texte intégral. Les questions sont ensuite répondues par un autre groupe de praticiens du NLP, qui fournissent également des preuves soutenant leurs réponses. Nous constatons que les modèles existants, performants sur d’autres tâches de question-réponse, se révèlent insuffisants pour répondre à ces questions, sous-performant les humains d’au moins 27 points F1 lorsqu’ils répondent à partir de documents complets. Ces résultats soulignent la nécessité de recherches ultérieures dans le domaine de la question-réponse fondée sur des documents et à visée informationnelle, un domaine que notre jeu de données a été spécifiquement conçu pour faciliter.