2ヶ月前

シーケンシャル推論モデルの構築:エンドツーエンド応答選択のための

Jia-Chen Gu; Zhen-Hua Ling; Yu-Ping Ruan; Quan Liu
シーケンシャル推論モデルの構築:エンドツーエンド応答選択のための
要約

本論文では、第7回対話システム技術チャレンジ(DSTC7)のトラック1向けのエンドツーエンド応答選択モデルを提案します。このタスクは、部分的な会話が与えられたときに、候補から正しい次の発話を選択することに焦点を当てています。私たちは、強化された逐次推論モデル(Enhanced Sequential Inference Model: ESIM)に基づくエンドツーエンドニューラルネットワークを提案します。私たちが提案するモデルは、元のESIMモデルと以下の4つの点で異なります。第一に、一般的な事前学習済み単語埋め込みとタスク固有の訓練セット上で推定された単語埋め込みを組み合わせた新しい単語表現方法を採用しています。これは、語彙外(Out-of-Vocabulary: OOV)単語の問題に対処するために行われました。第二に、階層的に文を符号化し、集約によってより説明的な表現を生成できる注意階層リカレントエンコーダ(Attentive Hierarchical Recurrent Encoder: AHRE)が設計されています。第三に、元のESIMで使用される最大プーリングと平均プーリングの単純な組み合わせではなく、多次元プーリングと最終状態プーリングを組み合わせた新しいプーリング手法が使用されています。最後に、コンテキストにおける最後の発話の重要性を強調するために、ソフトマックス層の前に修正層が追加されています。DSTC7で公開された評価結果において、私たちが提案した手法はトラック1のサブタスク1においてUbuntuデータセットで2位、Advisingデータセットで3位となりました。