SCDE: Sentence Cloze Dataset mit hochwertigen Störungen aus Prüfungen

Wir stellen SCDE vor, einen Datensatz zur Evaluierung der Leistung computergestützter Modelle mittels Satzvorhersage. SCDE ist ein von Menschen erstellter Satz-Lückentext-Datensatz, der aus öffentlichen Schul-Englischprüfungen stammt. Unsere Aufgabe verlangt von einem Modell, mehrere Lücken in einem Textabschnitt aus einer gemeinsamen Kandidatenmenge zu füllen, wobei die Störfaktoren (Distraktoren) gezielt von Englischlehrkräften entworfen wurden. Experimentelle Ergebnisse zeigen, dass diese Aufgabe die Nutzung von nicht-lokalem, diskursbasiertem Kontext jenseits der unmittelbaren Satznachbarschaft erfordert. Die Lücken müssen gemeinsam gelöst werden und beeinträchtigen sich erheblich wechselseitig im Kontext. Darüber hinaus zeigen Ablationsstudien, dass die Distraktoren von hoher Qualität sind und die Aufgabe somit besonders herausfordernd gestalten. Unsere Experimente offenbaren eine signifikante Leistungslücke zwischen fortschrittlichen Modellen (72 %) und Menschen (87 %), was zukünftige Forschungsanstrengungen zur Brücke dieser Lücke ermutigt.