要約
メモリ強化型ニューラルネットワークは、ニューラルコントローラと外部メモリから構成され、長期的なシーケンシャル学習においてその可能性を示しています。現在のRAMのようなメモリモデルは、各タイムステップでメモリアクセスを維持しているため、コントローラに保持される短期記憶を効果的に活用できていません。私たちは、この書き込み方式がメモリの利用において非最適であり、冗長な計算を導入すると仮説を立てました。この仮説を検証するために、RAMのようなシステムに保存される情報量の理論的上限を導出し、その上限を最大化する最適化問題を定式化しました。提案されたソリューション「Uniform Writing（一様書き込み）」は、タイムステップの寄与が等しいという仮定のもとで最適であることが証明されました。この仮定を緩和するために、元のソリューションに修正を加え、「Cached Uniform Writing（キャッシュ付き一様書き込み）」というソリューションを開発しました。この方法は、上書き機構を通じて記憶の最大化と忘却のバランスを取ります。広範な実験を通じて、私たちのソリューションが他の再帰型アーキテクチャよりも優れていることを実証し、さまざまなシーケンシャルモデリングタスクにおいて最先端の成果を得ていることを主張します。