テキスト理解のためのゲート付き注意リーダー

本論文では、文書に対するクローズ形式の質問への回答問題を研究しています。我々のモデルであるゲート付き注意（Gated-Attention: GA）リーダーは、マルチホップアーキテクチャと新しい注意メカニズムを統合しており、この注意メカニズムはクエリ埋め込みと再帰型ニューラルネットワーク文書リーダーの中間状態との乗法的な相互作用に基づいています。これにより、リーダーは文書内のトークンのクエリ固有の表現を作成し、正確な回答選択が可能になります。GAリーダーは、このタスクに関する3つのベンチマーク（CNNおよびDaily Mailニュースストーリー、Who Did Whatデータセット）で最先端の結果を達成しています。乗法的相互作用の効果は、アブレーションスタディによって示され、さらに他のゲート付き注意実装のための合成演算子との比較によっても確認されています。コードは https://github.com/bdhingra/ga-reader で入手可能です。