Gegenwirkung der Aufsatzlänge bei der neuronalen Aufsatzbewertung

Bisherige Arbeiten haben gezeigt, dass automatisierte Essay-Bewertungssysteme, insbesondere auf maschinellem Lernen basierende Systeme, die Qualität von Essays nicht zuverlässig bewerten können, sondern stattdessen auf die Länge des Essays zurückgreifen, ein Faktor, der mit der schriftlichen Kompetenz nicht korreliert. In dieser Arbeit zeigen wir zunächst, dass auch state-of-the-art-Systeme, insbesondere neuromorphische Essay-Bewertungssysteme, von der Korrelation zwischen Essaylänge und Bewertung in einem Standarddatensatz beeinflusst sein könnten. In unserer Evaluierung erreicht ein sehr einfaches neuronales Modell auf dem Standarddatensatz Leistungen auf dem Niveau der State-of-the-Art. Um die Essayinhalte zu berücksichtigen, ohne die Essaylänge zu berücksichtigen, stellen wir ein einfaches neuronales Modell vor, das die Ähnlichkeit des Inhalts zwischen einem Eingabeesay und Essays mit unterschiedlichen Bewertungen bewertet. Dieses neuronale Modell erreicht sowohl auf dem Standarddatensatz als auch auf einem zweiten Datensatz Leistungen, die mit denen der State-of-the-Art vergleichbar sind. Unsere Ergebnisse deuten darauf hin, dass neuronale Essay-Bewertungssysteme die Eigenschaften der verwendeten Datensätze berücksichtigen sollten, um sich auf die Textqualität zu konzentrieren.