Incertaine de réponse et non-répondabilité dans la compréhension automatique de lecture à choix multiples

La compréhension automatique de lecture (MRC, Machine Reading Comprehension) a suscité un grand intérêt en tant que méthode d’évaluation de la capacité des systèmes à comprendre le langage naturel. En général, les systèmes se concentrent sur la sélection de la bonne réponse à une question, à partir d’un paragraphe contextuel. Toutefois, pour de nombreuses applications des systèmes de MRC à choix multiples, deux considérations supplémentaires s’imposent. Dans le cadre d’examen à choix multiples, un système de pénalité est souvent appliqué : une réponse incorrecte entraîne une pénalité. En termes de système de MRC, cela signifie que le système doit être capable d’estimer l’incertitude associée à sa réponse prédite. La deuxième considération concerne le fait que de nombreuses questions à choix multiples incluent une option « aucune des réponses ci-dessus » (NOA), indiquant qu’aucune des propositions ne s’applique, plutôt que de supposer toujours qu’une réponse correcte figure parmi les choix proposés. Ce papier explore ces deux problématiques en s’appuyant sur la notion d’incertitude prédictive. La décision de proposer une réponse ou non constitue une application directe de l’incertitude liée à la réponse. Deux approches sont envisageables concernant l’option NOA. La plus simple consiste à concevoir explicitement un système à partir de données incluant cette option. Une alternative consiste à utiliser l’incertitude pour détecter si l’une des autres options correspond effectivement à la bonne réponse. Si le système n’est pas suffisamment confiant, il choisit alors l’option NOA. Étant donné l’absence d’un corpus standard permettant d’étudier ces questions, le corpus ReClor est modifié en supprimant la réponse correcte dans un sous-ensemble des choix possibles. Un système de MRC hautement performant est utilisé pour évaluer la faisabilité de l’application de l’incertitude dans ces situations. Il est démontré que l’incertitude permet effectivement de détecter les questions auxquelles le système n’est pas confiant. En outre, il est montré que l’approche basée sur l’incertitude surpasse les systèmes explicitement conçus avec une option NOA intégrée.