SKEP: Sentiment Knowledge Enhanced Pre-training für Sentimentanalyse

Kürzlich haben Ansätze zur Vorabtrainierung erhebliche Fortschritte bei der Stimmungsanalyse (sentiment analysis) bewirkt. Trotzdem wird im Prozess des Vorabtrainierens Stimmungswissen, wie z.B. Stimmungswörter und Aspekt-Stimmungs-Paare, ignoriert, obwohl sie in traditionellen Methoden der Stimmungsanalyse weit verbreitet sind. In dieser Arbeit stellen wir die Vorabtrainierung mit erweitertem Stimmungswissen (Sentiment Knowledge Enhanced Pre-training, SKEP) vor, um eine einheitliche Stimmungsdarstellung für mehrere Stimmungsanalyseaufgaben zu erlernen. Mit Hilfe automatisch gewonnenen Wissens führt SKEP eine Stimmungsverdeckung durch und formuliert drei Vorhersageziele des Stimmungswissens, um Informationen auf Wort-, Polaritäts- und Aspektniveau in die vortrainierte Stimmungsdarstellung einzubetten. Insbesondere wird die Vorhersage von Aspekt-Stimmungs-Paaren in eine Mehrfachklassifikation (multi-label classification) umgewandelt, um die Abhängigkeit zwischen den Wörtern eines Paares zu erfassen. Experimente anhand dreier Arten von Stimmungaufgaben zeigen, dass SKEP deutlich besser als starke Baseline-Modelle der Vorabtrainierung abschneidet und neue Standarts (state-of-the-art results) auf den meisten Testdatensätzen erreicht. Unser Code ist unter https://github.com/baidu/Senta verfügbar.请注意，这里将“多标签分类”翻译为“Mehrfachklassifikation”，这是德语中常用的术语。同时，为了保持信息的完整性，“state-of-the-art results”在括号中标注了原文。