HyperAIHyperAI

Command Palette

Search for a command to run...

FusionNet: 完全意識的な注意を用いた融合とその機械読解への応用

Hsin-Yuan Huang Chenguang Zhu Yelong Shen Weizhu Chen

概要

本論文では、FusionNetと呼ばれる新しいニューラル構造を紹介します。この構造は、既存の注意機構に以下の3つの観点から拡張を加えています。第一に、「単語の履歴」("history of word")という新たな概念を提案し、最低レベルの単語埋め込みから最高レベルの意味表現まで、注意情報の特性を捉えています。第二に、「単語の履歴」概念をより効果的に活用するための改良された注意スコアリング関数を導入しています。第三に、完全な多層注意メカニズムを提案しており、一つのテキスト(例えば質問)内の全情報を段階的に捉え、それを対応するテキスト(例えばコンテクストや文章)で利用します。私たちはFusionNetをスタンフォード大学質問応答データセット(SQuAD)に適用し、執筆時点(2017年10月4日)において公式SQuADリーダーボードで単一モデルおよびアンサンブルモデルともに第1位の成績を達成しました。さらに、FusionNetの汎化能力を2つの敵対的なSQuADデータセットで検証し、両データセットにおいて新たな最先端の成果を達成しました:AddSentデータセットでは最良のF1値が46.6%から51.4%へ向上し、AddOneSentデータセットでは最良のF1値が56.0%から60.7%へ向上しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
FusionNet: 完全意識的な注意を用いた融合とその機械読解への応用 | 記事 | HyperAI超神経