Absatzbasierte Transformer-Vorstufe für die Mehrsatz-Schlussfolgerung

Aufgaben der Inferenz, wie die Auswahl der Antwort-Satz (AS2) oder die Faktenverifikation, werden typischerweise durch das Feintuning von Transformer-basierten Modellen als individuelle Satzpaar-Klassifizierer gelöst. Neuere Studien zeigen, dass diese Aufgaben von einer gemeinsamen Modellierung der Abhängigkeiten über mehrere Kandidatensätze profitieren. In diesem Paper zeigen wir zunächst, dass gängige vortrainierte Transformer bei der Feinjustierung für Inferenzaufgaben mit mehreren Kandidatensätzen schlecht abschneiden. Anschließend stellen wir ein neues Vortrainingsziel vor, das die Absatz-Ebene-Semantik über mehrere Eingabesätze modelliert. Unsere Evaluation an drei AS2- und einer Faktenverifikations-Datensammlung belegt die Überlegenheit unseres Vortrainingsansatzes gegenüber herkömmlichen Methoden, sowohl wenn die Transformer als gemeinsame Modelle für Inferenzaufgaben mit mehreren Kandidatensätzen eingesetzt werden, als auch wenn sie als Cross-Encoders für die Satzpaar-Formulierung dieser Aufgaben verwendet werden. Unser Code und die vortrainierten Modelle sind unter https://github.com/amazon-research/wqa-multi-sentence-inference verfügbar.