要約
人間は新規な文脈において、刺激を迅速に結びつけることで問題を解決できる。本研究では、このような連想的推論を実現できるように、事実の状態表現を学習する新たなニューラルネットワークモデルを提案する。この目的のために、LSTMモデルに「高速重みメモリ（Fast Weight Memory: FWM）」と呼ばれる連想メモリを追加した。FWMの重みは急速に変化するが、入力シーケンスの各ステップで微分可能な操作を実行することで、LSTMはそのFWMに格納された構成的連想関係を更新および維持する。本モデルは勾配降下法によりエンド・ツー・エンドで学習可能であり、構成的言語推論問題、POMDPにおけるメタ強化学習、および小規模な語彙レベルの言語モデリングにおいて優れた性能を発揮する。