Zur Verwendung von BERT für die automatisierte Essay-Bewertung: Gemeinsames Lernen einer mehrskaligen Essay-Repräsentation

In den letzten Jahren sind vortrainierte Modelle zu einem dominierenden Ansatz in der meisten Aufgaben des Natural Language Processing (NLP) geworden. In der Domäne des Automated Essay Scoring (AES) wurden jedoch vortrainierte Modelle wie BERT bisher nicht effektiv genutzt, um andere tiefen Lernmodelle wie LSTM zu übertrifft. In diesem Paper stellen wir eine neuartige, mehrskalige Essay-Repräsentation für BERT vor, die gemeinsam gelernt werden kann. Zudem setzen wir mehrere Verlustfunktionen sowie Transfer-Learning aus Essays außerhalb des jeweiligen Domänenbereichs ein, um die Leistung weiter zu verbessern. Experimentelle Ergebnisse zeigen, dass unser Ansatz erhebliche Vorteile aus der gemeinsamen Lernung der mehrskaligen Essay-Repräsentation zieht und nahezu den Stand der Technik unter allen tiefen Lernmodellen im ASAP-Aufgabenkontext erreicht. Unser mehrskaliger Essay-Representation-Ansatz zeigt zudem eine gute Verallgemeinerungsfähigkeit auf dem CommonLit Readability Prize-Datensatz, was darauf hindeutet, dass die in diesem Paper vorgeschlagene neue Textrepräsentation eine vielversprechende und effektive Alternative für Aufgaben mit langen Texten darstellen könnte.