HyperAIHyperAI

Command Palette

Search for a command to run...

Coarse-grain Fine-grain Coattention-Netzwerk für Fragebeantwortung mit mehreren Beweisen

Victor Zhong; Caiming Xiong; Nitish Shirish Keskar; Richard Socher

Zusammenfassung

End-to-End-Neuronale Modelle haben in der Fragebeantwortung erhebliche Fortschritte gemacht, jedoch zeigen jüngste Studien, dass diese Modelle implizit davon ausgehen, dass die Antwort und das Beweismaterial in einem einzelnen Dokument dicht beieinander liegen. In dieser Arbeit schlagen wir das Coarse-grain Fine-grain Coattention Network (CFC) vor, ein neues Modell zur Fragebeantwortung, das Informationen aus Beweismaterialien in mehreren Dokumenten kombiniert. Das CFC besteht aus einem grobkörnigen Modul, das die Dokumente im Bezug zur Abfrage interpretiert und eine relevante Antwort findet, sowie einem feinkörnigen Modul, das jede potenzielle Antwort durch den Vergleich ihrer Vorkommen in allen Dokumenten mit der Abfrage bewertet. Diese Module werden unter Verwendung von Hierarchien der Coattention und Selbstaufmerksamkeit (Self-Attention) entwickelt, die lernen, verschiedene Teile der Eingabe zu betonen. Bei der Qangaroo WikiHop-Aufgabe zur Fragebeantwortung mit mehreren Beweisen erreicht das CFC auf dem blinden Testset ein neues Standesbeste-Ergebnis von 70,6 % Genauigkeit, wobei es trotz des Nichtverwendens prätrainierter kontextualer Encoder um 3 % besser abschneidet als das bisher beste Modell.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp