TORQUE : Un ensemble de données de compréhension de lecture portant sur des questions d'ordre temporel

Une composante essentielle de la lecture consiste à comprendre les relations temporelles entre les événements décrits dans un passage de texte, même lorsque ces relations ne sont pas explicitement énoncées. Toutefois, les benchmarks actuels de compréhension automatique du texte ne comportent pratiquement aucune question portant sur des phénomènes temporels, si bien que les systèmes entraînés sur ces benchmarks ne possèdent aucune capacité à répondre à des questions telles que « qu’est-ce qui s’est produit avant/après [un certain événement] ? ». Nous introduisons TORQUE, un nouveau benchmark de compréhension du texte en anglais, fondé sur 3 200 extraits d’actualités et comprenant 21 000 questions générées par des humains portant sur des relations temporelles. Les résultats montrent que RoBERTa-large atteint un score de correspondance exacte de 51 % sur l’ensemble de test de TORQUE, soit environ 30 % en dessous des performances humaines.