HyperAIHyperAI

Command Palette

Search for a command to run...

Iteratives hierarchisches Aufmerksamkeitsmodell zur Beantwortung komplexer Fragen über lange Dokumente

Haitian Sun William W. Cohen Ruslan Salakhutdinov

Zusammenfassung

Wir stellen ein neues Modell, DocHopper, vor, das iterativ verschiedene Teile langer, hierarchisch strukturierter Dokumente anspricht, um komplexe Fragen zu beantworten. Ähnlich wie Multi-Hop-Frage-Antwort-Systeme verwendet DocHopper in jedem Schritt eine Abfrage qqq, um Informationen aus einem Dokument zu lokalisieren, kombiniert diese „abgerufenen“ Informationen mit qqq, um die nächste Abfrage zu generieren. Im Gegensatz zu den meisten vorherigen Multi-Hop-QA-Systemen ist DocHopper jedoch in der Lage, entweder kurze Textpassagen oder längere Abschnitte des Dokuments „abzurufen“, wodurch ein mehrstufiger Prozess der „Navigation“ durch ein langes Dokument nachgeahmt wird. Um dieses neuartige Verhalten zu ermöglichen, kombiniert DocHopper die Dokumentinformationen nicht durch Textkonkatenation mit der Abfrage qqq, sondern durch die Kombination einer kompakten neuronale Repräsentation von qqq mit einer kompakten neuronale Repräsentation einer hierarchisch strukturierten Dokumentkomponente – die potenziell sehr groß sein kann. Wir testen DocHopper an vier verschiedenen QA-Aufgaben, die das Lesen langer und komplexer Dokumente erfordern, um Multi-Hop-Fragen zu beantworten, und zeigen, dass DocHopper auf drei der Datensätze Zustand-des-Kunst-Ergebnisse erzielt. Zudem ist DocHopper während der Inferenzzeit effizient und ist 3–10 Mal schneller als die Baseline-Modelle.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp