要約
私たちは、新しい密結合型ニューラルアーキテクチャであるDecaProp（Densely Connected Attention Propagation）を提案します。このモデルには2つの特徴があります。第一に、私たちのモデルはネットワーク内のすべてのペアワイズ層を密接に接続し、文章と問いかけの間の関係をすべての階層レベルでモデル化します。第二に、ネットワーク内の密結合は標準的な残差スキップコネクタではなく、注意機構を通じて学習されます。この目的のために、私たちは効率的にネットワーク全体での接続を形成するための新しい双方向注意コネクタ（Bidirectional Attention Connectors: BAC）を提案します。私たちは4つの難易度の高い読解ベンチマークに対して広範な実験を行いました。提案した手法はすべての4つのベンチマークで最先端の結果を達成し、既存のベースラインと比較して絶対F1スコアで最大2.6％から14.2％向上しました。