HyperAIHyperAI

Command Palette

Search for a command to run...

UnifiedQA: Die Grenzen von Formaten mit einem einzigen QA-System überwinden

Daniel Khashabi; Sewon Min; Tushar Khot; Ashish Sabharwal; Oyvind Tafjord; Peter Clark; Hannaneh Hajishirzi

Zusammenfassung

Fragebeantwortungsaufgaben (QA) wurden in verschiedenen Formaten gestellt, wie zum Beispiel der extraktiven Spannauswahl und der Multiple-Choice-Aufgaben. Dies hat zu format-spezifischen Modellen geführt und sogar zu einer impliziten Einteilung innerhalb der QA-Gemeinschaft. Wir argumentieren, dass solche Grenzen künstlich und möglicherweise unnötig sind, wenn man bedenkt, dass die Schließfolgerungsfähigkeiten, die wir lehren möchten, nicht vom Format bestimmt werden. Als Beweis nutzen wir die neuesten Fortschritte im Bereich der Sprachmodellierung, um ein einzelnes vorab trainiertes QA-Modell, UnifiedQA, zu entwickeln, das überraschend gut auf 17 QA-Datensätzen in 4 unterschiedlichen Formaten abschneidet. UnifiedQA erzielt vergleichbare Ergebnisse mit 9 verschiedenen Modellen, die jeweils auf individuellen Datensätzen trainiert wurden. Auch bei 12 bisher unbekannten Datensätzen gleicher beobachteter Formate zeigt UnifiedQA überraschend gute Leistungen und demonstriert eine starke Generalisierungskraft aus seinen formatfremden Trainingsdaten. Schließlich führt eine einfache Feinabstimmung dieses vorab trainierten QA-Modells zu spezialisierten Modellen, die einen neuen Stand der Technik auf 6 Datensätzen etablieren und UnifiedQA als eine robuste Ausgangsbasis für die Entwicklung von QA-Systemen positionieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp