Automatisierte Essay-Bewertung mittels paarweiser kontrastiver Regression

Die automatisierte Essay-Bewertung (Automated Essay Scoring, AES) beinhaltet die Vorhersage einer Bewertung, die die Schreibleistung eines Essays widerspiegelt. Die meisten bestehenden Ansätze in der AES nutzen entweder Regressionsziele oder Ranking-Ziele. Diese beiden Methodenarten sind jedoch hochgradig ergänzend. In diesem Artikel lassen wir uns von der kontrastiven Lernmethode inspirieren und schlagen ein neuartiges, einheitliches neuronales Paarweises Kontrastives Regressionsmodell (Neural Pairwise Contrastive Regression, NPCR) vor, bei dem beide Ziele gleichzeitig als eine einzige Verlustfunktion optimiert werden. Konkret entwerfen wir zunächst ein neuronales Paarweises Ranking-Modell, um die globale Rangordnung in einer großen Liste von Essays sicherzustellen, und erweitern dieses Ranking-Modell anschließend weiter, um die relativen Scores zwischen einem Eingabeesay und mehreren Referenzessays vorherzusagen. Zudem wird eine Multi-Sample-Voting-Strategie für die Inferenz eingesetzt. Wir bewerten unser Modell auf dem öffentlichen Automated Student Assessment Prize (ASAP)-Datensatz mittels des Quadratischen Gewichteten Kappa (Quadratic Weighted Kappa). Die experimentellen Ergebnisse zeigen, dass NPCR die vorhergehenden Methoden deutlich übertrifft und die derzeit beste durchschnittliche Leistung für die AES-Aufgabe erreicht.