HyperAIHyperAI

Command Palette

Search for a command to run...

高速重みメモリを用いた連関推論の学習

Imanol Schlag Tsendsuren Munkhdalai Jürgen Schmidhuber

概要

人間は新規な文脈において、刺激を迅速に結びつけることで問題を解決できる。本研究では、このような連想的推論を実現できるように、事実の状態表現を学習する新たなニューラルネットワークモデルを提案する。この目的のために、LSTMモデルに「高速重みメモリ(Fast Weight Memory: FWM)」と呼ばれる連想メモリを追加した。FWMの重みは急速に変化するが、入力シーケンスの各ステップで微分可能な操作を実行することで、LSTMはそのFWMに格納された構成的連想関係を更新および維持する。本モデルは勾配降下法によりエンド・ツー・エンドで学習可能であり、構成的言語推論問題、POMDPにおけるメタ強化学習、および小規模な語彙レベルの言語モデリングにおいて優れた性能を発揮する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています