Attentions hiérarchiques itératives pour répondre à des questions complexes sur des documents longs

Nous proposons un nouveau modèle, DocHopper, qui examine itérativement différentes parties de documents longs et hiérarchiquement structurés afin de répondre à des questions complexes. De manière similaire aux systèmes de question-réponse à plusieurs sauts (multi-hop QA), à chaque étape, DocHopper utilise une requête $q$ pour s’attacher à des informations provenant d’un document, combine ces informations « récupérées » avec $q$ afin de générer la requête suivante. Toutefois, contrairement à la plupart des systèmes précédents de QA à plusieurs sauts, DocHopper est capable de « récupérer » soit de courtes phrases, soit de longues sections du document, ce qui permet de simuler un processus itératif de « navigation » à travers un document long afin de répondre à une question. Pour permettre ce comportement novateur, DocHopper ne combine pas les informations du document à $q$ en concaténant du texte à la requête, mais en combinant une représentation neuronale compacte de $q$ avec une représentation neuronale compacte d’une partie hiérarchique du document, pouvant être très volumineuse. Nous évaluons DocHopper sur quatre tâches différentes de question-réponse exigeant la lecture de documents longs et complexes pour répondre à des questions à plusieurs sauts, et montrons que DocHopper atteint des résultats de pointe sur trois des jeux de données. En outre, DocHopper est efficace en phase d’inférence, étant 3 à 10 fois plus rapide que les modèles de référence.