条件付きシーケンス処理のための集中階層RNN

注意機構付き再帰型ニューラルネットワーク（RNN）は、多くの系列処理タスクにおいて最先端の結果を達成しています。これらのモデルの多くは、全系列を一括して見渡し、各トークンに独立して重みを割り当てる単純な形式のエンコーダーを使用しています。本稿では、系列モデリングタスク向けにRNNエンコーダーの焦点を絞るメカニズムを提案します。このメカニズムにより、必要に応じて入力の重要な部分に注目することができます。私たちはこれを、一度に一つのトークンを読み込み、そのトークンが質問やコンテキストに関連しているかどうかについて離散的な決定を行う多層条件付き系列エンコーダーで定式化しました。離散ゲーティング機構はコンテキスト埋め込みと現在の隠れ状態を入力として取り入れ、上位層への情報流れを制御します。この機構は方策勾配法を使用して訓練されます。私たちはこの方法を異なる属性を持ついくつかの種類のタスクで評価しました。まず、合成タスクで評価を行い、モデルの汎化能力を評価し、ゲートの動作をより制御された環境で調査しました。次に、大規模な質問応答タスクであるMS MARCOやSearchQAなどの課題で評価を行いました。これらの課題において、私たちのモデルは先行研究やベースラインに対して一貫した改善を見せています。また、合成タスクにおいてもベースラインと比較して著しく優れた汎化能力を示しています。