RussianSuperGLUE: ロシア語理解評価ベンチマーク

本論文では、先進的なロシア語の一般的言語理解評価ベンチマークであるRussianGLUEについて紹介します。普遍的な言語モデルやトランスフォーマーに関する最近の進歩は、それらの広範な診断と一般的な知的スキルのテストを必要としています。具体的には、自然言語推論の検出、常識的推論、テキストの主題や語彙に関係なく単純な論理演算を行う能力などが求められます。ロシア語用に初めて、SuperGLUEの手法と同様に9つのタスクを集めて整理し、完全に新規に開発したベンチマークを提案します。私たちはベースラインを提供し、人間レベルでの評価を行い、モデル評価用のオープンソースフレームワーク（https://github.com/RussianNLP/RussianSuperGLUE）とロシア語向けトランスフォーマーモデル全体のリーダーボードを提示します。さらに、多言語モデルが適応された診断テストセットでの比較結果を初めて示し、最先端モデルを言語に依存せずにさらなる拡張や評価を行う最初の一歩を提案します。