注意の上に注意を重ねたニューラルネットワークによる読解

クローズ形式の問いは、読解における代表的な問題です。ここ数ヶ月で、ニューラルネットワークアプローチを用いてクローズ形式の問いを解くことに大きな進展が見られました。本論文では、クローズ形式の読解タスクに向けた新しいモデル「attention-over-attentionリーダー」を提案します。当モデルは、ドキュメントレベルの注意機構上にさらに別の注意機構を置き、「attended attention（注目された注意）」を最終予測のために誘導することを目指しています。従来の研究と異なり、当ニューラルネットワークモデルは事前に定義されたハイパーパラメータを少なく必要とし、優雅なアーキテクチャを使用してモデリングを行います。実験結果は、提案したattention-over-attentionモデルがCNNやChildren's Book Testなどの公開データセットにおいて、様々な最先端システムに対して大幅に優れた性能を示していることを示しています。