Viele Hände machen leichte Arbeit: Essay-Eigenschaften zur automatischen Bewertung von Essays nutzen

Die meisten Forschungsarbeiten im Bereich der automatischen Aufsatzbewertung (Automatic Essay Grading, AEG) zielen darauf ab, den Aufsatz holistisch zu bewerten, wobei ebenfalls einige Arbeiten zur Bewertung einzelner Aufsatzmerkmale durchgeführt wurden. In diesem Paper beschreiben wir einen Ansatz zur holistischen Aufsatzbewertung mittels eines Multi-Task-Lernens (Multi-Task Learning, MTL), bei dem die holistische Bewertung der Aufsatzarbeit die Hauptaufgabe und die Bewertung der einzelnen Aufsatzmerkmale die Hilfsaufgabe darstellt. Wir vergleichen unsere Ergebnisse mit einem Single-Task-Lernansatz (Single-Task Learning, STL), sowohl bei Verwendung von LSTMs als auch von BiLSTMs. Zudem vergleichen wir die Ergebnisse unserer Hilfsaufgabe mit entsprechenden Aufgaben in anderen AEG-Systemen. Um festzustellen, welche Merkmale für unterschiedliche Arten von Aufsätzen am besten geeignet sind, führen wir Ablationstests für jedes einzelne Aufsatzmerkmal durch. Außerdem geben wir die Laufzeit und die Anzahl der Trainingsparameter für jedes System an. Wir stellen fest, dass das auf MTL basierende BiLSTM-System die besten Ergebnisse bei der holistischen Aufsatzbewertung erzielt und zudem eine gute Leistung bei der Bewertung der einzelnen Aufsatzmerkmale zeigt.