FusionNet: 完全意識的な注意を用いた融合とその機械読解への応用

本論文では、FusionNetと呼ばれる新しいニューラル構造を紹介します。この構造は、既存の注意機構に以下の3つの観点から拡張を加えています。第一に、「単語の履歴」（"history of word"）という新たな概念を提案し、最低レベルの単語埋め込みから最高レベルの意味表現まで、注意情報の特性を捉えています。第二に、「単語の履歴」概念をより効果的に活用するための改良された注意スコアリング関数を導入しています。第三に、完全な多層注意メカニズムを提案しており、一つのテキスト（例えば質問）内の全情報を段階的に捉え、それを対応するテキスト（例えばコンテクストや文章）で利用します。私たちはFusionNetをスタンフォード大学質問応答データセット（SQuAD）に適用し、執筆時点（2017年10月4日）において公式SQuADリーダーボードで単一モデルおよびアンサンブルモデルともに第1位の成績を達成しました。さらに、FusionNetの汎化能力を2つの敵対的なSQuADデータセットで検証し、両データセットにおいて新たな最先端の成果を達成しました：AddSentデータセットでは最良のF1値が46.6%から51.4%へ向上し、AddOneSentデータセットでは最良のF1値が56.0%から60.7%へ向上しました。