HyperAIHyperAI

Command Palette

Search for a command to run...

読解における拡張合成ユニットを用いた多粒度シーケンス符号化

Anh Tuan Luu Yi Tay Siu Cheung Hui

概要

シーケンスエンコーダーは、読解を学ぶための多くのニューラルアーキテクチャにおいて中心的な役割を果たしている。本論文では、読解(Reading Comprehension: RC)のための新しい構成型エンコーダーを提案する。本研究で提案するエンコーダーは、高速性を追求するだけでなく、表現力にも優れている。具体的には、本エンコーダーの主な革新点は、新しい拡張構成機構(dilated composition mechanism)を用いて、複数の粒度(granularity)にわたる情報を明示的にモデル化することにある。本手法では、多粒度のシーケンス情報に関する関係性をモデル化し、推論を行うことでゲーティング関数を学習する。これにより、長期的かつ短期的な情報を意識した構成学習が可能となる。我々は3つのRCデータセット上で実験を行い、提案エンコーダーが単体として使用される場合にも、また他の構成要素として補完的に用いられる場合にも、非常に有望な結果を示した。実証的な結果から、本提案エンコーダーを搭載したシンプルなBi-Attentiveアーキテクチャが、最先端または競争力のある性能を達成するとともに、他の既存手法と比べて著しく高速であることが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています