MEMEN: 複数層の埋め込みとメモリネットワークを用いた機械読解

機械読解（MC）スタイルの質問応答は、自然言語処理における代表的な問題である。従来の手法では、特に単語の構文情報や固有名詞の埋め込みに重点を置いたエンコーディング層の改善にほとんど時間を使わなかったが、これらはエンコーディングの品質にとって非常に重要である。さらに、既存の注意メカニズムでは、各クエリ単語をベクトルで表現するか、または全体のクエリ文を単一のベクトルで表現する方法が用いられているが、どちらもクエリ文中のキーワードに対する適切な重み付けを行うことができない。本論文では、機械読解タスク向けに新しいニューラルネットワークアーキテクチャであるマルチレイヤー・エンベディング・ウィズ・メモリーネットワーク（MEMEN）を提案する。エンコーディング層においては、古典的なスキップグラムモデルを用いて単語の構文情報と意味情報を学習し、新しい種類の埋め込み層を訓練する。また、クエリと文章間の全方位マッチングを行うメモリーネットワークを提案することで、より重要な情報を捉えることが可能となる。実験結果は、スタンフォード質問応答データセット（SQuAD）において精度と効率性から見ても競争力のある結果を示しており、TriviaQAデータセットでは最新の最先端結果を達成している。注：「全方位マッチング」は一般的な日本語表現ではないため、「full-orientation matching」（全方位マッチング）として訳しました。