意味に基づいた対話応答生成のための階層的分離自己注意メカニズムを用いたアプローチ

限定ドメインにおける意味制御型ニューラル応答生成は、優れた性能を達成しています。しかし、マルチドメインの大規模シナリオへの移行は、ドメイン数に伴い意味入力の可能な組み合わせが指数関数的に増加するため、困難であることが示されています。このようなスケーラビリティ問題を緩和するために、対話行為の構造を利用して多層階層グラフを構築しました。このグラフでは、各行為が根から葉までの経路として表現されます。次に、このグラフ構造を先験的な情報として導入し、階層的分離自己注意ネットワークを構築しました。ここで、自己注意ヘッドを分離して対話行為グラフ上の指定されたノードをモデル化します。各層で異なる（分離された）ヘッドを活性化することで、組み合わせ的に多くの対話行為の意味がモデル化され、ニューラル応答生成を制御することができます。大規模な Multi-Domain-WOZ データセットにおいて、当モデルは様々な自動評価指標や人間評価指標でベースラインに対して有意な改善をもたらすことが確認されました。