HyperAIHyperAI

Command Palette

Search for a command to run...

ソフトおよびハードアドレッシングスキームを備えた動的ニューラルチューリングマシン

Caglar Gulcehre Sarath Chandar Kyunghyun Cho Yoshua Bengio

概要

私たちは、学習可能なメモリアドレッシングスキームを導入することで、ニューラルチューリングマシン(NTM)モデルを動的ニューラルチューリングマシン(D-NTM)に拡張しました。このアドレッシングスキームは、各メモリセルに対してコンテンツベクトルとアドレスベクトルの2つの独立したベクトルを維持します。これにより、D-NTMは線形および非線形を含むさまざまな位置ベースのアドレッシング戦略を学習することができます。私たちは、連続的で微分可能および離散的で非微分可能な読み書き機構を使用してD-NTMを実装しました。Facebook bAbIタスクにおいてフィードフォワードコントローラーとGRUコントローラーを使用した実験を通じて、読み書きの学習機構とその効果を調査しました。D-NTMは一連のFacebook bAbIタスクで評価され、NTMおよびLSTMの基準モデルを上回ることが示されました。私たちはbAbIタスクにおける私たちのモデルとNTMの異なるバリエーションについて広範な分析を行いました。さらに、逐次的なpMNIST、スタンフォード自然言語推論、関連想起およびコピー課題に関する追加の実験結果も提供しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ソフトおよびハードアドレッシングスキームを備えた動的ニューラルチューリングマシン | 記事 | HyperAI超神経