多分解能再帰型ニューラルネットワーク：対話応答生成への応用

私たちはマルチレゾリューション再帰型ニューラルネットワーク（Multiresolution Recurrent Neural Network）を導入します。このネットワークは、シーケンス・ツー・シーケンスフレームワークを拡張し、自然言語生成を2つの並列的な離散確率過程としてモデル化します。すなわち、高レベルの粗いトークンの系列と、自然言語トークンの系列です。高レベルの粗いトークンを推定または学習する方法は多数存在しますが、私たちは単純な抽出プロセスが十分に多くの高レベルディスコース意味論を捉えることができると主張します。このようなプロセスにより、両方の系列に対する正確な同時対数尤度を最大化することで、マルチレゾリューション再帰型ニューラルネットワークの訓練が可能となります。自然言語トークン（単語パープレキシティ）に関する標準的な対数尤度目的関数とは異なり、同時対数尤度の最適化はモデルが高レベル抽象化をモデル化することへのバイアスを持つように機能します。提案されたモデルを2つの挑戦的なドメインにおける対話応答生成タスクに適用しました：Ubuntu技術サポートドメインとTwitter会話です。Ubuntuにおいては、自動評価指標および人間による評価研究によれば、競合する手法に対して大幅に優れた性能を示し、最先端の結果を達成しています。Twitterにおいては、自動評価指標によれば、より関連性があり且つトピックに関連した応答を生成することが確認されています。最後に、私たちの実験では提案されたモデルが自然言語の疎さ克服に優れており、長期的な構造を捉える能力が高いことが示されました。