2ヶ月前

ニューラル ストアドプログラム メモリ

Hung Le; Truyen Tran; Svetha Venkatesh
ニューラル ストアドプログラム メモリ
要約

外部メモリを搭載したニューラルネットワークは、コンピュータの動作をシミュレートします。これらのモデルは、データをニューラルコントローラに保存するためのメモリを使用し、アルゴリズムやその他の複雑なタスクを学習することができます。本論文では、現代のコンピュータアーキテクチャにおけるストアドプログラムメモリに類似した、コントローラの重みを保存する新しいメモリを提案します。提案されたモデルは「ニューラル ストアドプログラム メモリ」と名付けられ、現在のメモリアグメンテッドニューラルネットワークを強化し、時間とともにプログラムを切り替えたり、変動するコンテキストに適応したりすることで、ユニバーサルチューリングマシンに近づくことが期待されます。多様な実験結果から、得られたマシンが古典的なアルゴリズム問題だけでなく、構成的学習、継続的学習、少量学習(few-shot learning)、質問応答タスクなどにも潜在的な能力を持つことが示されています。

ニューラル ストアドプログラム メモリ | 論文 | HyperAI超神経