要約
単位行列による進化と連想記憶の概念は、再帰型ニューラルネットワーク（RNN）が一連のシーケンシャルタスクにおいて最先端の性能を達成するのに大きく貢献してきました。しかし、RNNは長期記憶を操作する能力に限界があります。この弱点を克服するために、RNNの最も成功した応用では外部技術、例えば注意メカニズムが使用されています。本論文では、これらの最先端アプローチを統合した新しいRNNモデルである「回転メモリユニット（Rotational Unit of Memory, RUM）」を提案します。RUMの中心となるのはその回転演算であり、これは自然に単位行列として機能し、勾配消失問題と勾配爆発問題を克服することで長期依存関係を学習するための強力な手段を提供します。さらに、回転ユニットは連想記憶としても機能します。我々は合成記憶タスク、質問応答タスク、言語モデリングタスクでモデルを評価しました。RUMはCopying Memoryタスクを完全に学習し、Recallタスクでの最先端結果を改善しました。bAbI質問応答タスクにおけるRUMの性能は、注意メカニズムを持つモデルと同等です。また、Character Level Penn Treebank（PTB）タスクにおいても1.189ビット/文字（BPC）損失という最先端結果を改善しており、これはRUMが実世界のシーケンシャルデータへの適用可能性を示しています。RNNの中心にある我々の構築方法の普遍性により、RUMは言語モデリング、音声認識、機械翻訳への有望なアプローチとして確立されています。