HyperAIHyperAI

Command Palette

Search for a command to run...

Eine fragezentrierte Mehrfaktor-Aufmerksamkeitsnetzwerk für Fragebeantwortung

Souvik Kundu Hwee Tou Ng

Zusammenfassung

Neuronale Netzwerkmodelle, die kürzlich für Fragebeantwortung (QA) vorgeschlagen wurden, konzentrieren sich hauptsächlich auf die Erfassung der Beziehung zwischen Textabschnitt und Frage. Allerdings verfügen sie über eine minimale Fähigkeit, relevante Fakten, die über mehrere Sätze verteilt sind, miteinander zu verknüpfen, was für ein tieferes Verständnis entscheidend ist, wie z.B. das Durchführen von Mehrsatz-Reasoning und Coreference-Resolution. Sie legen auch nicht explizit den Fokus auf die Frage und den Antworttyp, obwohl diese oft eine entscheidende Rolle bei der Fragebeantwortung spielen. In dieser Arbeit schlagen wir ein neues end-to-end frageorientiertes Mehrfaktor-Aufmerksamkeitsnetzwerk zur Antwortextraktion vor. Die Mehrfaktor-aufmerksamkeitsbasierte Kodierung unter Verwendung einer tensorbasierten Transformation aggregiert bedeutungsvolle Fakten auch dann, wenn diese in verschiedenen Sätzen liegen. Um den Antworttyp implizit zu inferieren, schlagen wir außerdem einen max-aufmerksamkeitsbasierten Fragenaggregationsmechanismus vor, um einen Fragenvektor basierend auf wichtigen Wörtern in der Frage zu kodieren. Während der Vorhersage integrieren wir die sequenzbasierte Kodierung des ersten W-Wortes und seines unmittelbar folgenden Wortes als zusätzliche Informationsquelle zum Fragenotyp. Unser vorgeschlagenes Modell erzielt signifikante Verbesserungen im Vergleich zu den bisher besten Stand-of-the-Art-Ergebnissen auf drei großen und anspruchsvollen QA-Datensätzen: NewsQA, TriviaQA und SearchQA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Eine fragezentrierte Mehrfaktor-Aufmerksamkeitsnetzwerk für Fragebeantwortung | Paper | HyperAI