HyperAIHyperAI

Command Palette

Search for a command to run...

SCDE: Sentence Cloze Dataset mit hochwertigen Störungen aus Prüfungen

Xiang Kong Varun Gangal Eduard Hovy

Zusammenfassung

Wir stellen SCDE vor, einen Datensatz zur Evaluierung der Leistung computergestützter Modelle mittels Satzvorhersage. SCDE ist ein von Menschen erstellter Satz-Lückentext-Datensatz, der aus öffentlichen Schul-Englischprüfungen stammt. Unsere Aufgabe verlangt von einem Modell, mehrere Lücken in einem Textabschnitt aus einer gemeinsamen Kandidatenmenge zu füllen, wobei die Störfaktoren (Distraktoren) gezielt von Englischlehrkräften entworfen wurden. Experimentelle Ergebnisse zeigen, dass diese Aufgabe die Nutzung von nicht-lokalem, diskursbasiertem Kontext jenseits der unmittelbaren Satznachbarschaft erfordert. Die Lücken müssen gemeinsam gelöst werden und beeinträchtigen sich erheblich wechselseitig im Kontext. Darüber hinaus zeigen Ablationsstudien, dass die Distraktoren von hoher Qualität sind und die Aufgabe somit besonders herausfordernd gestalten. Unsere Experimente offenbaren eine signifikante Leistungslücke zwischen fortschrittlichen Modellen (72 %) und Menschen (87 %), was zukünftige Forschungsanstrengungen zur Brücke dieser Lücke ermutigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp