要約
アテンションモデルは、質問対応型の文章アテンションモデルや自己適合型アテンションモデルを用いて、機械読解などの自然言語処理タスクの向上に向けた研究が精力的に進められています。本研究では、アテンションモデルに対して意味のある二つの方法でフェーズコンダクター（PhaseCond）を提案します。第一に、PhaseCondは多層アテンションモデルの構造であり、複数のフェーズからなり、各フェーズは文章表現を生成するアテンション層のスタックと、情報フローを制御する内部または外部融合層のスタックで構成されています。第二に、異なる視点から複数の質問および文章埋め込み層を同時にエンコードすることにより、PhaseCond用のドットプロダクトアテンション関数を拡張し改善しています。SQuADデータセットでの実験結果を通じて、提案したPhaseCondモデルが最新の単層および多層アテンションモデルよりも大幅に優れていることを示しました。さらに、詳細な定性的分析と可視化された例によって得られた新たな知見を通じて、結果を深めています。これらの分析と例は、多層アテンションモデルにおける動的な変化を明らかにしています。