スパースリードとライトを用いたメモリ拡張ニューラルネットワークのスケーリング

外部メモリを備えたニューラルネットワークは、複雑なタスクに対するアルゴリズミックな解決策を学習する能力を持っています。これらのモデルは言語モデリングや機械翻訳などの応用に有望であると考えられています。しかし、メモリの量が増えると、空間と時間の両面でスケーリングが悪くなるため、実世界の領域への適用が制限されます。本稿では、元のアプローチの表現力を維持しながら非常に大きなメモリでも効率的に学習できる、エンドツーエンドで微分可能なメモリアクセススキームを提案します。このスキームをスパースアクセスメモリ（Sparse Access Memory: SAM）と呼びます。我々はSAMが空間と時間の計算量において漸近的な下界を達成することを示し、非スパースモデルに比べて実装が1,000倍速く、物理的なメモリ使用量が3,000倍少ないことを確認しました。SAMは一連の合成タスクやOmniglot文字認識の一発学習において既存のモデルと同等のデータ効率で学習できることを示しています。さらに、10万ステップ以上の時間軸とメモリが必要となるタスクにもスケーリングできることがわかりました。また、最近導入された微分可能なニューラルコンピュータ（Differentiable Neural Computer）のように、メモリ間の時系列関連性を維持するモデルへの適応方法も示しています。