要約
最近の進歩にもかかわらず、メモリ強化型深層ニューラルネットワークは、生涯学習や一発学習（one-shot learning）において特に稀な事象を記憶する点でまだ制限があります。本稿では、深層学習に使用する大規模な生涯メモリモジュールを提案します。このモジュールは効率性のために高速近傍探索アルゴリズム（nearest-neighbor algorithms）を利用しており、大容量のメモリにも対応できます。近傍探索クエリ以外は、このモジュールは完全に微分可能であり、追加の監督なしで端から端まで訓練されます。また、生涯学習方式で動作し、訓練中にリセットする必要はありません。当社のメモリモジュールは、監督付きニューラルネットワークの任意の部分に簡単に追加できます。その汎用性を示すために、画像分類に使用される単純な畳み込みネットワークから深層シーケンス・ツー・シーケンスおよび再帰的畳み込みモデルまで、さまざまなネットワークに追加しました。どのケースでも、強化されたネットワークは記憶力と生涯の一発学習能力を得ています。当社のモジュールは過去数万ステップ前に提示された訓練例を記憶し、それらから成功裏に一般化することができます。Omniglotデータセットでの一発学習において新たな最先端性能を達成し、初めて大規模機械翻訳タスクにおける再帰的ニューラルネットワークでの生涯一発学習を実証しました。