UnifiedQA: Die Grenzen von Formaten mit einem einzigen QA-System überwinden

Fragebeantwortungsaufgaben (QA) wurden in verschiedenen Formaten gestellt, wie zum Beispiel der extraktiven Spannauswahl und der Multiple-Choice-Aufgaben. Dies hat zu format-spezifischen Modellen geführt und sogar zu einer impliziten Einteilung innerhalb der QA-Gemeinschaft. Wir argumentieren, dass solche Grenzen künstlich und möglicherweise unnötig sind, wenn man bedenkt, dass die Schließfolgerungsfähigkeiten, die wir lehren möchten, nicht vom Format bestimmt werden. Als Beweis nutzen wir die neuesten Fortschritte im Bereich der Sprachmodellierung, um ein einzelnes vorab trainiertes QA-Modell, UnifiedQA, zu entwickeln, das überraschend gut auf 17 QA-Datensätzen in 4 unterschiedlichen Formaten abschneidet. UnifiedQA erzielt vergleichbare Ergebnisse mit 9 verschiedenen Modellen, die jeweils auf individuellen Datensätzen trainiert wurden. Auch bei 12 bisher unbekannten Datensätzen gleicher beobachteter Formate zeigt UnifiedQA überraschend gute Leistungen und demonstriert eine starke Generalisierungskraft aus seinen formatfremden Trainingsdaten. Schließlich führt eine einfache Feinabstimmung dieses vorab trainierten QA-Modells zu spezialisierten Modellen, die einen neuen Stand der Technik auf 6 Datensätzen etablieren und UnifiedQA als eine robuste Ausgangsbasis für die Entwicklung von QA-Systemen positionieren.