要約
多大な努力が、マルチタスク学習が豊かな表現を学び、さまざまな自然言語処理（NLP）の下流アプリケーションで利用できるかどうかを評価するために費やされてきました。しかし、マルチタスク学習が著しい効果をもたらす状況についての理解はまだ不足しています。本研究では、慎重に選択された意味論的なタスクセット上でマルチタスク学習設定で訓練される階層モデルを導入します。このモデルは、モデルの下層で低レベルのタスクを監督し、上層でより複雑なタスクを監督することで、階層的に訓練され、誘導バイアスを導入します。このモデルは、手動で設計された特徴量や外部のNLPツール（構文解析器など）を使用せずに、固有表現認識（Named Entity Recognition）、エンティティ言及検出（Entity Mention Detection）、関係抽出（Relation Extraction）などの多くのタスクにおいて最先端の結果を達成しています。階層的な訓練監督により、モデルの下層に共有される意味論的な表現が誘導されます。私たちは、モデルの下層から上層へと移るにつれて、各層の隠れ状態がより複雑な意味論的情報を表す傾向があることを示しています。