DUMA : Compréhension de lecture avec une pensée de permutation

La lecture compréhension automatique à choix multiples (MRC) exige que le modèle détermine la réponse correcte parmi un ensemble d'options proposées, à partir d’un passage et d’une question. En conséquence, outre un modèle pré-entraîné puissant (PrLM) utilisé comme encodeur, la MRC à choix multiples repose particulièrement sur une architecture de réseau de correspondance conçue pour capturer efficacement les relations entre le triplet constitué du passage, de la question et des réponses. Bien que les PrLMs plus récents et plus puissants aient démontré leur efficacité même en l’absence d’un tel réseau de correspondance, nous proposons un nouveau modèle, le DUMA (DUal Multi-head Co-Attention), inspiré du processus de pensée par transposition humaine dans la résolution des problèmes de MRC à choix multiples : chaque élément (passage ou question) considère tour à tour l’attention portée par l’autre. Le modèle DUMA s’est révélé efficace et capable d’améliorer de manière générale les performances des PrLMs. Notre méthode a été évaluée sur deux tâches de référence en MRC à choix multiples, DREAM et RACE, montrant que, même avec des PrLMs puissants, DUMA permet d’atteindre de nouveaux états de l’art.