HyperAIHyperAI

Command Palette

Search for a command to run...

エンドツーエンド記憶ネットワーク

Sainbayar Sukhbaatar Arthur Szlam Jason Weston Rob Fergus

概要

私たちは、大規模な外部メモリを対象とした再帰的な注意モデルを持つニューラルネットワークを紹介します。このアーキテクチャはMemory Network(ウェストンら、2015年)の一種ですが、その研究で提案されたモデルとは異なり、エンドツーエンドで学習されるため、訓練中に必要とする監督が大幅に少なくなります。これにより、現実的な設定においてより一般的に適用可能となります。また、このモデルはRNNsearchの拡張版と見なすことができ、出力シンボルごとに複数の計算ステップ(ホップ)が行われる場合にも対応しています。モデルの柔軟性により、(合成的な)質問応答や言語モデリングなど、多様なタスクに適用することができます。質問応答の場合、当方のアプローチはMemory Networksと競合しますが、監督量が少ないという利点があります。言語モデリングの場合、Penn TreeBankおよびText8データセットにおいて当方のアプローチはRNNやLSTMと同等の性能を示しています。両ケースにおいても、複数の計算ホップという重要な概念が結果の向上につながっていることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています