Übersicht über die Shared Task zur Validität und Neuheitssvorhersage 2022

Diese Arbeit bietet einen Überblick über die Shared Task zur Vorhersage von Argumentgültigkeit und Neuheit, die im Rahmen des 9. Workshops on Argument Mining (ArgMining 2022) organisiert wurde. Die Aufgabe bestand darin, die Gültigkeit und Neuheit einer Schlussfolgerung anhand eines gegebenen Textprämissen vorherzusagen. Unter Gültigkeit versteht man den Grad, in dem die Schlussfolgerung hinsichtlich der gegebenen Prämisse gerechtfertigt ist. Neuheit bezeichnet den Grad, in dem die Schlussfolgerung Inhalte enthält, die im Vergleich zur Prämisse neu sind. Sechs Forschungsgruppen nahmen an der Aufgabe teil und reichten insgesamt 13 Systemläufe für die binäre Klassifikation und zwei Systemläufe für die relative Klassifikation ein. Die Ergebnisse zeigen, dass die Aufgabe herausfordernd ist: Die besten Ergebnisse wurden für die Vorhersage der Gültigkeit mit einem F1-Score von etwa 75 %, für die Vorhersage der Neuheit mit 70 % F1-Score und für die korrekte Vorhersage sowohl der Gültigkeit als auch der Neuheit mit 45 % F1-Score erzielt. In dieser Arbeit fassen wir die Aufgabenstellung und den verwendeten Datensatz zusammen. Wir geben einen Überblick über die Ergebnisse der teilnehmenden Systeme und ziehen zudem Erkenntnisse aus den vielfältigen Beiträgen.