FiE: Aufbau eines globalen Wahrscheinlichkeitsraums durch Ausnutzung der frühen Fusion im Encoder für fragebasierte Antwortgenerierung im offenen Domänenbereich

Generative Modelle haben in letzter Zeit begonnen, extractive Modelle im Bereich des Open-Domain Question Answering zu übertreffen, vor allem durch die Nutzung ihres Decoders, um über mehrere kodierte Passagen hinweg zu attendieren und deren Informationen zu kombinieren. Allerdings sind generative Modelle aufgrund des erforderlichen Decoders tendenziell größer, laufen während der Inferenz aufgrund des autoregressiven Decoder-Beam-Search langsamer und ihre generierten Ausgaben leiden oft unter Halluzinationen. Wir schlagen vor, Transformer-Encoder durch die Fähigkeit zur Fusion von Informationen aus mehreren Passagen zu erweitern, wobei eine globale Repräsentation verwendet wird, um über alle Tokens aller Beispiele hinweg eine Cross-Sample-Attention zu ermöglichen. Darüber hinaus schlagen wir eine alternative Berechnung der Antwortspannen-Wahrscheinlichkeit vor, um Antwort-Scores besser im globalen Raum aller Beispiele zu aggregieren. Mit unserem vorgeschlagenen Ansatz erreichen wir auf dem Natural Questions-Datensatz eine Verbesserung gegenüber der derzeitigen State-of-the-Art-Methode um 2,5 Punkte im Exact Match-Score, wobei wir lediglich 25 % der Parameter und 35 % der Inferenzlatenz verwenden. Auf dem WebQuestions-Datensatz erreichen wir eine Verbesserung um 4,4 Punkte im Exact Match-Score. In Kombination mit synthetischer Datenverstärkung übertrifft unsere Methode zudem größere Modelle auf dem TriviaQA-Datensatz. Die erheblichen Einsparungen an Latenz und Parametern machen unseren Ansatz besonders attraktiv für Open-Domain Question Answering, da solche Modelle häufig rechenintensiv sind.