HyperAIHyperAI

Command Palette

Search for a command to run...

FiE: Aufbau eines globalen Wahrscheinlichkeitsraums durch Ausnutzung der frühen Fusion im Encoder für fragebasierte Antwortgenerierung im offenen Domänenbereich

Akhil Kedia Mohd Abbas Zaidi Haejun Lee

Zusammenfassung

Generative Modelle haben in letzter Zeit begonnen, extractive Modelle im Bereich des Open-Domain Question Answering zu übertreffen, vor allem durch die Nutzung ihres Decoders, um über mehrere kodierte Passagen hinweg zu attendieren und deren Informationen zu kombinieren. Allerdings sind generative Modelle aufgrund des erforderlichen Decoders tendenziell größer, laufen während der Inferenz aufgrund des autoregressiven Decoder-Beam-Search langsamer und ihre generierten Ausgaben leiden oft unter Halluzinationen. Wir schlagen vor, Transformer-Encoder durch die Fähigkeit zur Fusion von Informationen aus mehreren Passagen zu erweitern, wobei eine globale Repräsentation verwendet wird, um über alle Tokens aller Beispiele hinweg eine Cross-Sample-Attention zu ermöglichen. Darüber hinaus schlagen wir eine alternative Berechnung der Antwortspannen-Wahrscheinlichkeit vor, um Antwort-Scores besser im globalen Raum aller Beispiele zu aggregieren. Mit unserem vorgeschlagenen Ansatz erreichen wir auf dem Natural Questions-Datensatz eine Verbesserung gegenüber der derzeitigen State-of-the-Art-Methode um 2,5 Punkte im Exact Match-Score, wobei wir lediglich 25 % der Parameter und 35 % der Inferenzlatenz verwenden. Auf dem WebQuestions-Datensatz erreichen wir eine Verbesserung um 4,4 Punkte im Exact Match-Score. In Kombination mit synthetischer Datenverstärkung übertrifft unsere Methode zudem größere Modelle auf dem TriviaQA-Datensatz. Die erheblichen Einsparungen an Latenz und Parametern machen unseren Ansatz besonders attraktiv für Open-Domain Question Answering, da solche Modelle häufig rechenintensiv sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp