Des questions extraordinaires et où les trouver : FairytaleQA — Un jeu de données authentique pour la compréhension narrative

La question-réponse (QA) constitue un moyen fondamental pour faciliter l’évaluation et l’entraînement des compétences de compréhension narrative, tant pour les machines que pour les jeunes enfants. Toutefois, il existe une rareté de jeux de données de haute qualité, soigneusement conçus à cet effet. En particulier, les jeux de données existants distinguent rarement des compétences de lecture à un niveau fin, telles que la compréhension d’éléments narratifs variés. S’appuyant sur les recherches en éducation à la lecture, nous introduisons FairytaleQA, un jeu de données centré sur la compréhension narrative destiné aux élèves de maternelle à la huitième année. Généré par des experts éducatifs selon un cadre théorique fondé sur des preuves, FairytaleQA comprend 10 580 questions explicites et implicites issues de 278 récits adaptés aux enfants, couvrant sept types d’éléments ou de relations narratifs. Notre jeu de données présente une valeur double : premièrement, en testant des modèles QA existants sur notre jeu de données, nous avons confirmé que cette annotation permet d’évaluer efficacement les capacités des modèles à apprendre de manière fine. Deuxièmement, le jeu de données soutient la tâche de génération de questions (QG) dans le domaine éducatif. En effectuant des comparaisons avec des modèles QG, nous démontrons que le modèle QG entraîné sur FairytaleQA est capable de poser des questions de haute qualité et plus diversifiées.