2ヶ月前

階層的再発生エンコーダと潜在トピッククラスタリングを使用した質問応答ペアのランキング学習

Seunghyun Yoon; Joongbo Shin; Kyomin Jung
階層的再発生エンコーダと潜在トピッククラスタリングを使用した質問応答ペアのランキング学習
要約

本論文では、階層的再帰型ニューラルネットワークと潜在トピッククラスタリングモジュールを組み合わせた新たなエンドツーエンドのニューラルアーキテクチャを提案します。提案モデルにより、文章は単語レベルからチャンクレベルまでベクトル表現にエンコードされ、全体的な意味を効果的に捉えることが可能となります。特に、階層構造を採用することで、他の最先端の再帰型ニューラルネットワークモデルが長文理解で性能低下を示すのに対し、当モデルでは非常に小さな性能低下しか見られません。さらに、潜在トピッククラスタリングモジュールは目標サンプルから意味情報を抽出します。このクラスタリングモジュールは、各データサンプルが最も近いトピッククラスターを見つけることを可能にするため、任意のテキスト関連タスクにおいて有用です。これによりニューラルネットワークモデルが全データを分析するのに役立ちます。我々は提案モデルをUbuntuダイアログコーパスおよびサムスン製品に関連する消費者電子機器ドメインの質問応答データセットで評価しました。評価結果によると、提案モデルは質問-回答ペアのランキングにおいて最先端の成果を示しています。

階層的再発生エンコーダと潜在トピッククラスタリングを使用した質問応答ペアのランキング学習 | 最新論文 | HyperAI超神経