DyREx: Dynamische Fragendarstellung für extraktive Fragebeantwortung

Extraktives Fragesysteme (ExQA) stellen eine zentrale Aufgabe im Bereich der natürlichen Sprachverarbeitung dar. Der vorherrschende Ansatz für ExQA besteht darin, die Eingabesequenztokens (Frage und Passage) mittels eines vortrainierten Transformers zu repräsentieren, gefolgt von der Verwendung zweier gelernter Abfragevektoren zur Berechnung von Verteilungen über die Start- und Endpositionen des Antwortsegments. Diese Abfragevektoren verfügen über keinen Kontext der Eingabedaten, was als Engpass für die Modellleistung wirken kann. Um dieses Problem zu lösen, schlagen wir \textit{DyREx} vor, eine Verallgemeinerung des klassischen Ansatzes, bei dem die Abfragevektoren dynamisch auf Basis der Eingabedaten mithilfe einer Aufmerksamkeitsmechanik innerhalb von Transformer-Schichten berechnet werden. Empirische Beobachtungen zeigen, dass unser Ansatz die Leistung des Standardverfahrens konsistent verbessert. Der Quellcode und die begleitenden Dateien zur Durchführung der Experimente sind unter \url{https://github.com/urchade/DyReX} verfügbar.