大規模マルチタスク学習を用いた汎用分散文表現の学習

最近の自然言語処理（NLP）における成功の多くは、大量のテキスト上で非教師あり学習によって訓練された単語の分散ベクトル表現によってもたらされています。これらの表現は、一般的に様々なNLP問題において単語の汎用的な特徴として使用されます。しかし、この成功を文章のような単語列の表現学習に拡張することは未解決の問題となっています。最近の研究では、異なる訓練目標を持つ非教師あり学習および教師あり学習技術を用いて、汎用的な固定長文章表現を学習する方法が探索されています。本研究では、多様な訓練目標の帰納的バイアスを単一モデルに組み合わせたシンプルかつ効果的なマルチタスク学習フレームワークを提案します。当該モデルは1億以上の文章で複数の訓練目標に基づいて複数のデータソース上で訓練されました。広範な実験により、弱い関連性のあるタスク間で単一の再帰型文章エンコーダーを共有することで、従来の手法よりも一貫した改善が得られることを示しています。また、転移学習や低リソース設定において、我々が学習した汎用的な表現を使用することで大幅な改善が見られることも報告します。