要約
最近の研究では、Wikipediaのエンティティから得られるクロスリンガルアライメント情報により、多言語事前学習言語モデルを効果的に改善できることを示しています。しかし、既存の手法は事前学習段階でのみエンティティ情報を活用し、下流タスクにおいて明示的にエンティティを使用していません。本研究では、下流のクロスリンガルタスクにエンティティ表現を活用する有効性を探ります。24言語でエンティティ表現を用いて多言語言語モデルを訓練し、そのモデルが様々なクロスリンガル転移タスクにおいて単語ベースの事前学習モデルよりも一貫して優れていることを示しました。また、モデルを分析した結果、入力にエンティティ表現を取り入れることでより言語非依存的な特徴を抽出できることが重要な知見となりました。さらに、mLAMAデータセットを使用した多言語クローズプロンプトタスクでもモデルを評価し、エンティティベースのプロンプトが単なる単語表現のみを使用する場合よりも正しく事実に基づいた知識を引き出す可能性が高いことを示しました。当該ソースコードおよび事前学習済みモデルは、https://github.com/studio-ousia/luke で公開されています。