俄语情感分析中的深度迁移学习基线

近年来，基于预训练语言模型的迁移学习在多种自然语言处理任务中展现出显著有效性，包括情感分析。本文旨在为俄语情感分析任务确立深度迁移学习的基准方法。首先，我们梳理了当前俄语情感分析领域最常用且公开可用的数据集，以及官方支持俄语的最新语言模型。随后，我们对多语言双向Transformer编码器表示模型（Multilingual Bidirectional Encoder Representations from Transformers, BERT）、RuBERT以及两种版本的多语言通用句子编码器（Multilingual Universal Sentence Encoder）进行了微调，并在七个俄语情感分析数据集上取得了优异甚至刷新当前最优性能的结果，这些数据集包括：SentRuEval-2016、SentiRuEval-2015、RuTweetCorp、RuSentiment、LINIS Crowd、Kaggle俄语新闻数据集以及RuReviews。最后，我们已将微调后的模型公开发布，供学术界研究使用。