HyperAIHyperAI

Command Palette

Search for a command to run...

Zur Verwendung von BERT für die automatisierte Essay-Bewertung: Gemeinsames Lernen einer mehrskaligen Essay-Repräsentation

Yongjie Wang Chuan Wang Ruobing Li Hui Lin

Zusammenfassung

In den letzten Jahren sind vortrainierte Modelle zu einem dominierenden Ansatz in der meisten Aufgaben des Natural Language Processing (NLP) geworden. In der Domäne des Automated Essay Scoring (AES) wurden jedoch vortrainierte Modelle wie BERT bisher nicht effektiv genutzt, um andere tiefen Lernmodelle wie LSTM zu übertrifft. In diesem Paper stellen wir eine neuartige, mehrskalige Essay-Repräsentation für BERT vor, die gemeinsam gelernt werden kann. Zudem setzen wir mehrere Verlustfunktionen sowie Transfer-Learning aus Essays außerhalb des jeweiligen Domänenbereichs ein, um die Leistung weiter zu verbessern. Experimentelle Ergebnisse zeigen, dass unser Ansatz erhebliche Vorteile aus der gemeinsamen Lernung der mehrskaligen Essay-Repräsentation zieht und nahezu den Stand der Technik unter allen tiefen Lernmodellen im ASAP-Aufgabenkontext erreicht. Unser mehrskaliger Essay-Representation-Ansatz zeigt zudem eine gute Verallgemeinerungsfähigkeit auf dem CommonLit Readability Prize-Datensatz, was darauf hindeutet, dass die in diesem Paper vorgeschlagene neue Textrepräsentation eine vielversprechende und effektive Alternative für Aufgaben mit langen Texten darstellen könnte.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp