HyperAIHyperAI

Command Palette

Search for a command to run...

注意の上に注意を重ねたニューラルネットワークによる読解

Yiming Cui†, Zhipeng Chen†, Si Wei†, Shijin Wang†, Ting Liu‡ and Guoping Hu†

概要

クローズ形式の問いは、読解における代表的な問題です。ここ数ヶ月で、ニューラルネットワークアプローチを用いてクローズ形式の問いを解くことに大きな進展が見られました。本論文では、クローズ形式の読解タスクに向けた新しいモデル「attention-over-attentionリーダー」を提案します。当モデルは、ドキュメントレベルの注意機構上にさらに別の注意機構を置き、「attended attention(注目された注意)」を最終予測のために誘導することを目指しています。従来の研究と異なり、当ニューラルネットワークモデルは事前に定義されたハイパーパラメータを少なく必要とし、優雅なアーキテクチャを使用してモデリングを行います。実験結果は、提案したattention-over-attentionモデルがCNNやChildren's Book Testなどの公開データセットにおいて、様々な最先端システムに対して大幅に優れた性能を示していることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています