17日前

読解における拡張合成ユニットを用いた多粒度シーケンス符号化

{Anh Tuan Luu, Yi Tay, Siu Cheung Hui}
読解における拡張合成ユニットを用いた多粒度シーケンス符号化
要約

シーケンスエンコーダーは、読解を学ぶための多くのニューラルアーキテクチャにおいて中心的な役割を果たしている。本論文では、読解(Reading Comprehension: RC)のための新しい構成型エンコーダーを提案する。本研究で提案するエンコーダーは、高速性を追求するだけでなく、表現力にも優れている。具体的には、本エンコーダーの主な革新点は、新しい拡張構成機構(dilated composition mechanism)を用いて、複数の粒度(granularity)にわたる情報を明示的にモデル化することにある。本手法では、多粒度のシーケンス情報に関する関係性をモデル化し、推論を行うことでゲーティング関数を学習する。これにより、長期的かつ短期的な情報を意識した構成学習が可能となる。我々は3つのRCデータセット上で実験を行い、提案エンコーダーが単体として使用される場合にも、また他の構成要素として補完的に用いられる場合にも、非常に有望な結果を示した。実証的な結果から、本提案エンコーダーを搭載したシンプルなBi-Attentiveアーキテクチャが、最先端または競争力のある性能を達成するとともに、他の既存手法と比べて著しく高速であることが明らかになった。

読解における拡張合成ユニットを用いた多粒度シーケンス符号化 | 最新論文 | HyperAI超神経