HyperAIHyperAI

Command Palette

Search for a command to run...

MAFiD: Moving Average ausgestattete Fusion-in-Decoder für die Fragebeantwortung über tabellarische und textuelle Daten

Seung-Hoon Na Inho Kang Donghyeon Jeon Daeryong Seo Eunhwan Park Sung-Min Lee

Zusammenfassung

Transformers-basierte Modelle für Frage-Antwort-Aufgaben (QA) über Tabellen und Texte stehen vor der Herausforderung einer „langen“ hybriden Sequenz aus tabellarischen und textuellen Elementen, was Probleme bei der langen Reichweiten-Schlussfolgerung verursacht. Um diese Probleme der langen Reichweiten-Schlussfolgerung zu bewältigen, setzen wir umfassend eine Fusion-in-Decoder-(FiD)-Architektur sowie ein exponentiell gleitendes Mittel (Exponential Moving Average, EMA) ein und schlagen ein {underline{M}oving {underline{A}verage Equipped {underline{F}usion-{underline{i}n-{underline{D}ecoder (MAFiD) vor. Ausgehend von der FiD-Architektur kombiniert MAFiD verschiedene Ebenen der Schlussfolgerung: die {textit{unabhängige Kodierung} homogener Daten sowie die {textit{einzelne Zeile}- und {textit{mehrfache Zeile}-basierte heterogene Schlussfolgerung. Dabei wird eine {textit{gated cross-attention-Schicht} eingesetzt, um die drei Arten von Repräsentationen, die aus den unterschiedlichen Schlussfolgerungsprozessen resultieren, effektiv zu aggregieren. Experimentelle Ergebnisse auf dem HybridQA-Datensatz zeigen, dass MAFiD mit einer Steigerung von 1,1 auf dem exakten Übereinstimmungsmass (EM) und 1,7 auf dem F1-Score gegenüber dem Blind-Testset die derzeit beste Leistung erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MAFiD: Moving Average ausgestattete Fusion-in-Decoder für die Fragebeantwortung über tabellarische und textuelle Daten | Paper | HyperAI