Command Palette
Search for a command to run...
Attentions hiérarchiques itératives pour répondre à des questions complexes sur des documents longs
Attentions hiérarchiques itératives pour répondre à des questions complexes sur des documents longs
Haitian Sun William W. Cohen Ruslan Salakhutdinov
Résumé
Nous proposons un nouveau modèle, DocHopper, qui examine itérativement différentes parties de documents longs et hiérarchiquement structurés afin de répondre à des questions complexes. De manière similaire aux systèmes de question-réponse à plusieurs sauts (multi-hop QA), à chaque étape, DocHopper utilise une requête q pour s’attacher à des informations provenant d’un document, combine ces informations « récupérées » avec q afin de générer la requête suivante. Toutefois, contrairement à la plupart des systèmes précédents de QA à plusieurs sauts, DocHopper est capable de « récupérer » soit de courtes phrases, soit de longues sections du document, ce qui permet de simuler un processus itératif de « navigation » à travers un document long afin de répondre à une question. Pour permettre ce comportement novateur, DocHopper ne combine pas les informations du document à q en concaténant du texte à la requête, mais en combinant une représentation neuronale compacte de q avec une représentation neuronale compacte d’une partie hiérarchique du document, pouvant être très volumineuse. Nous évaluons DocHopper sur quatre tâches différentes de question-réponse exigeant la lecture de documents longs et complexes pour répondre à des questions à plusieurs sauts, et montrons que DocHopper atteint des résultats de pointe sur trois des jeux de données. En outre, DocHopper est efficace en phase d’inférence, étant 3 à 10 fois plus rapide que les modèles de référence.