2ヶ月前

双曲表現学習による高速かつ効率的なニューラル質問応答

Yi Tay; Luu Anh Tuan; Siu Cheung Hui
双曲表現学習による高速かつ効率的なニューラル質問応答
要約

質問応答検索における主要なニューラルアーキテクチャは、複雑な単語マッチング層を備えた再帰型または畳み込み型エンコーダに基づいています。最近のアーキテクチャ革新は主に新しい単語相互作用層や注意メカニズムに基づくものであり、これらのコンポーネントが高性能を達成するためには必須であるという事実は広く認められています。しかし、これらの複雑なメカニズムによって発生するメモリと計算コストは、実用的なアプリケーションにとって望ましくありません。したがって、本論文では単純なニューラルアーキテクチャでも競争力のある性能を達成できるかどうかについて取り組んでいます。我々は高速かつ効率的な質問-回答ランキングと検索のために、単純ながら新規性のあるディープラーニングアーキテクチャを提案します。特に、我々の提案モデル \textsc{HyperQA} はパラメータ効率の高いニューラルネットワークで、他のパラメータ量が多いモデル(例:注意プーリング付き双方向LSTM (Attentive Pooling BiLSTMs) や多視点CNN (Multi-Perspective CNNs))よりも複数のQAベンチマークで優れた性能を示します。\textsc{HyperQA} の新規性は、ユークリッド空間ではなく双曲空間で質問と回答の埋め込み間の関係をモデル化するペアワイスランキング目的関数にあります。これにより、モデルは自己組織化能力を持ち、質問と回答の埋め込みを学習しながら潜在的な階層構造を自動的に発見することができます。本モデルでは特徴量エンジニアリングや類似行列マッチング、複雑な注意メカニズムや過剰にパラメータ化された層を使用せずとも、これらの機能を持つ多くのモデルよりも優れた性能を示し、複数のベンチマークにおいて競争力を保つことができます。

双曲表現学習による高速かつ効率的なニューラル質問応答 | 最新論文 | HyperAI超神経