Deep Transfer Learning Baselines für die Sentimentanalyse im Russischen

Kürzlich hat sich gezeigt, dass Transfer-Lernen von vortrainierten Sprachmodellen in einer Vielzahl von Aufgaben des natürlichen Sprachverstehens, einschließlich der Stimmungsanalyse, wirksam ist. Diese Arbeit zielt darauf ab, tiefe Transfer-Lern-Baselines für die Stimmungsanalyse im Russischen zu identifizieren. Zunächst identifizierten wir die am häufigsten verwendeten öffentlich verfügbaren Datensätze zur Stimmungsanalyse im Russischen sowie neuere Sprachmodelle, die offiziell die russische Sprache unterstützen. Anschließend fine-tunten wir mehrsprachige bidirektionale Encoder-Representations aus Transformers (BERT), RuBERT sowie zwei Versionen des Multilingual Universal Sentence Encoder und erzielten starke, ja sogar neue, state-of-the-art-Ergebnisse auf sieben Datensätzen zur Stimmungsanalyse im Russischen: SentRuEval-2016, SentiRuEval-2015, RuTweetCorp, RuSentiment, LINIS Crowd, Kaggle Russian News Dataset und RuReviews. Schließlich stellten wir die fine-tunten Modelle der Forschungsgemeinschaft öffentlich zur Verfügung.