HyperAIHyperAI

Command Palette

Search for a command to run...

Allgemeinwissen für Generative Mehrschritt-Fragebeantwortungsaufgaben

Lisa Bauer Yicheng Wang Mohit Bansal

Zusammenfassung

Leseverständnis-QA-Aufgaben haben in letzter Zeit an Popularität gewonnen, jedoch haben die meisten Arbeiten sich auf faktensuchende extraktive QA konzentriert. Wir fokussieren uns stattdessen auf eine anspruchsvollere mehrstufige generative Aufgabe (NarrativeQA), die das Modell dazu veranlasst, unzusammenhängende Informationen im Kontext zu analysieren, zu sammeln und zu synthetisieren, um eine Antwort zu erzeugen. Diese Art der mehrstufigen Analyse erfordert oft auch das Verstehen impliziter Beziehungen, die Menschen durch externe, allgemeine Alltagswissen lösen. Zunächst präsentieren wir ein starkes generatives Baseline-Modell, das einen Mehrfach-Aufmerksamkeitsmechanismus verwendet, um mehrere Schritte der Analyse durchzuführen, und einen Pointer-Generator-Dekoder, um die Antwort zu synthetisieren. Dieses Modell übertrifft die bisherigen generativen Modelle erheblich und ist mit den aktuellen Standards der Span-Vorhersagemodelle wettbewerbsfähig. Als Nächstes führen wir ein neues System zur Auswahl von fundiertem mehrstufigem relationalem Alltagswissen aus ConceptNet ein, das auf einem punktweisen gegenseitigen Informationsgehalt und einer Term-Frequenz-basierten Bewertungsfunktion beruht. Schließlich nutzen wir dieses extrahierte Alltagswissen effektiv, um Lücken in der Analyse zwischen den Kontextschritten zu schließen, indem wir einen selektiv-gesteuerten Aufmerksamkeitsmechanismus verwenden. Dies verbessert die Leistung des Modells erheblich (auch durch menschliche Bewertung bestätigt) und etabliert einen neuen Stand der Technik für diese Aufgabe. Darüber hinaus zeigen wir vielversprechende erste Ergebnisse zur Übertragbarkeit unserer Erweiterungen des Hintergrundwissens, indem wir Verbesserungen beim QAngaroo-WikiHop-Datensatz nachweisen, einem weiteren Datensatz für mehrstufige Analyseaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp