Ein einheitliches neuronales Netzwerkmodell zur Lesbarkeitsbewertung mit Merkmalsprojektion und längesgewichteter Verlustfunktion

Zur Lesbarkeitsbewertung setzen traditionelle Methoden hauptsächlich maschinelle Lernklassifikatoren mit Hunderten sprachlicher Merkmale ein. Obwohl tiefes Lernen mittlerweile der dominierende Ansatz für nahezu alle Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP) ist, wurde es für die Lesbarkeitsbewertung bisher weniger erforscht. In diesem Artikel stellen wir ein BERT-basiertes Modell mit Merkmalsprojektion und längesgleichgewichtetem Verlust (BERT-FP-LBL) für die Lesbarkeitsbewertung vor. Insbesondere präsentieren wir eine neuartige, auf Schwierigkeitswissen gestützte semi-supervised Methode zur Extraktion von Themenmerkmalen, um die herkömmlichen sprachlichen Merkmale zu ergänzen. Aus den sprachlichen Merkmalen wenden wir eine Projektionsfilterung an, um orthogonale Merkmale zu extrahieren, die die BERT-Darstellungen ergänzen. Darüber hinaus entwerfen wir einen neuen längesgleichgewichteten Verlust, um die stark variierende Längenverteilung der Daten zu bewältigen. Unser Modell erreicht state-of-the-art Ergebnisse auf zwei englischen Benchmark-Datensätzen sowie einem Datensatz chinesischer Lehrbücher und erzielt zudem eine nahezu perfekte Genauigkeit von 99 % auf einem englischen Datensatz. Zudem erzielt unser vorgeschlagenes Modell im Konsistenztest vergleichbare Ergebnisse wie menschliche Experten.