Lecteur rétrospectif pour la compréhension automatique de lecture

La compréhension automatique de texte (MRC, Machine Reading Comprehension) est un défi en intelligence artificielle qui consiste à faire déterminer à une machine des réponses correctes à des questions à partir d’un passage donné. Les systèmes MRC doivent non seulement répondre aux questions lorsqu’elles sont abordables, mais aussi reconnaître quand aucune réponse ne peut être extraite du passage fourni, et s’abstenir judicieusement de répondre dans de tels cas. Lorsque les questions non abordables sont intégrées à la tâche MRC, un module de vérification essentiel, appelé verifier, est nécessaire en complément de l’encodeur. Malgré cela, les approches récentes en modélisation MRC tirent encore principalement parti de modèles pré-entraînés de haute qualité comme bloc d’encodeur, en se concentrant principalement sur la phase de « lecture ». Ce papier se consacre à l’exploration de conceptions améliorées pour le module de vérification dans le cadre de la tâche MRC incluant des questions non abordables. Inspirés par la manière dont les humains résolvent les questions de compréhension de texte, nous proposons un lecteur rétrospectif (Retro-Reader), intégrant deux étapes de lecture et de stratégie de vérification : 1) une lecture sommaire, qui examine brièvement les interactions globales entre le passage et la question, et permet d’émettre un jugement initial ; 2) une lecture approfondie, qui vérifie la réponse et produit la prédiction finale. Le lecteur proposé est évalué sur deux jeux de données de référence standard, SQuAD2.0 et NewsQA, où il atteint de nouveaux résultats de pointe. Des tests statistiques montrent que notre modèle est significativement meilleur que les modèles de référence forts ELECTRA et ALBERT. Une série d’analyses est également menée afin d’interpréter l’efficacité du lecteur proposé.