HyperAIHyperAI

Command Palette

Search for a command to run...

Attentions hiérarchiques itératives pour répondre à des questions complexes sur des documents longs

Haitian Sun William W. Cohen Ruslan Salakhutdinov

Résumé

Nous proposons un nouveau modèle, DocHopper, qui examine itérativement différentes parties de documents longs et hiérarchiquement structurés afin de répondre à des questions complexes. De manière similaire aux systèmes de question-réponse à plusieurs sauts (multi-hop QA), à chaque étape, DocHopper utilise une requête qqq pour s’attacher à des informations provenant d’un document, combine ces informations « récupérées » avec qqq afin de générer la requête suivante. Toutefois, contrairement à la plupart des systèmes précédents de QA à plusieurs sauts, DocHopper est capable de « récupérer » soit de courtes phrases, soit de longues sections du document, ce qui permet de simuler un processus itératif de « navigation » à travers un document long afin de répondre à une question. Pour permettre ce comportement novateur, DocHopper ne combine pas les informations du document à qqq en concaténant du texte à la requête, mais en combinant une représentation neuronale compacte de qqq avec une représentation neuronale compacte d’une partie hiérarchique du document, pouvant être très volumineuse. Nous évaluons DocHopper sur quatre tâches différentes de question-réponse exigeant la lecture de documents longs et complexes pour répondre à des questions à plusieurs sauts, et montrons que DocHopper atteint des résultats de pointe sur trois des jeux de données. En outre, DocHopper est efficace en phase d’inférence, étant 3 à 10 fois plus rapide que les modèles de référence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp