ソフトおよびハードアドレッシングスキームを備えた動的ニューラルチューリングマシン

私たちは、学習可能なメモリアドレッシングスキームを導入することで、ニューラルチューリングマシン（NTM）モデルを動的ニューラルチューリングマシン（D-NTM）に拡張しました。このアドレッシングスキームは、各メモリセルに対してコンテンツベクトルとアドレスベクトルの2つの独立したベクトルを維持します。これにより、D-NTMは線形および非線形を含むさまざまな位置ベースのアドレッシング戦略を学習することができます。私たちは、連続的で微分可能および離散的で非微分可能な読み書き機構を使用してD-NTMを実装しました。Facebook bAbIタスクにおいてフィードフォワードコントローラーとGRUコントローラーを使用した実験を通じて、読み書きの学習機構とその効果を調査しました。D-NTMは一連のFacebook bAbIタスクで評価され、NTMおよびLSTMの基準モデルを上回ることが示されました。私たちはbAbIタスクにおける私たちのモデルとNTMの異なるバリエーションについて広範な分析を行いました。さらに、逐次的なpMNIST、スタンフォード自然言語推論、関連想起およびコピー課題に関する追加の実験結果も提供しています。