MAFiD: Moving Average ausgestattete Fusion-in-Decoder für die Fragebeantwortung über tabellarische und textuelle Daten

Transformers-basierte Modelle für Frage-Antwort-Aufgaben (QA) über Tabellen und Texte stehen vor der Herausforderung einer „langen“ hybriden Sequenz aus tabellarischen und textuellen Elementen, was Probleme bei der langen Reichweiten-Schlussfolgerung verursacht. Um diese Probleme der langen Reichweiten-Schlussfolgerung zu bewältigen, setzen wir umfassend eine Fusion-in-Decoder-(FiD)-Architektur sowie ein exponentiell gleitendes Mittel (Exponential Moving Average, EMA) ein und schlagen ein {underline{M}oving {underline{A}verage Equipped {underline{F}usion-{underline{i}n-{underline{D}ecoder (MAFiD) vor. Ausgehend von der FiD-Architektur kombiniert MAFiD verschiedene Ebenen der Schlussfolgerung: die {textit{unabhängige Kodierung} homogener Daten sowie die {textit{einzelne Zeile}- und {textit{mehrfache Zeile}-basierte heterogene Schlussfolgerung. Dabei wird eine {textit{gated cross-attention-Schicht} eingesetzt, um die drei Arten von Repräsentationen, die aus den unterschiedlichen Schlussfolgerungsprozessen resultieren, effektiv zu aggregieren. Experimentelle Ergebnisse auf dem HybridQA-Datensatz zeigen, dass MAFiD mit einer Steigerung von 1,1 auf dem exakten Übereinstimmungsmass (EM) und 1,7 auf dem F1-Score gegenüber dem Blind-Testset die derzeit beste Leistung erreicht.