HyperAIHyperAI

Command Palette

Search for a command to run...

回転メモリユニット

["name": "Rumen Dangovski*" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]" "name": "Li Jing*" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]" "name": "Marin Solja\u010di\u0107" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]"]

概要

単位行列による進化と連想記憶の概念は、再帰型ニューラルネットワーク(RNN)が一連のシーケンシャルタスクにおいて最先端の性能を達成するのに大きく貢献してきました。しかし、RNNは長期記憶を操作する能力に限界があります。この弱点を克服するために、RNNの最も成功した応用では外部技術、例えば注意メカニズムが使用されています。本論文では、これらの最先端アプローチを統合した新しいRNNモデルである「回転メモリユニット(Rotational Unit of Memory, RUM)」を提案します。RUMの中心となるのはその回転演算であり、これは自然に単位行列として機能し、勾配消失問題と勾配爆発問題を克服することで長期依存関係を学習するための強力な手段を提供します。さらに、回転ユニットは連想記憶としても機能します。我々は合成記憶タスク、質問応答タスク、言語モデリングタスクでモデルを評価しました。RUMはCopying Memoryタスクを完全に学習し、Recallタスクでの最先端結果を改善しました。bAbI質問応答タスクにおけるRUMの性能は、注意メカニズムを持つモデルと同等です。また、Character Level Penn Treebank(PTB)タスクにおいても1.189ビット/文字(BPC)損失という最先端結果を改善しており、これはRUMが実世界のシーケンシャルデータへの適用可能性を示しています。RNNの中心にある我々の構築方法の普遍性により、RUMは言語モデリング、音声認識、機械翻訳への有望なアプローチとして確立されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています