バックプロパゲーションで訓練されたニューラルネットワークは、少数回しか観測されていないクラスを識別することがしばしば困難です。言語モデルなど、ほとんどのクラスラベルが希少であるアプリケーションでは、これが性能のボトルネックとなることがあります。この問題に対する一つの潜在的な解決策は、最近の活性化とクラスラベルを外部メモリに保存する高速学習の非パラメトリックモデルをネットワークに追加することです。私たちは、モデルの一部のパラメータを高速メモリとして扱う簡素なアーキテクチャを探求しています。これにより、従来のメモリよりも長い時間間隔で情報を保持でき、追加のスペースや計算資源を必要としません。画像分類の場合には、Omniglot画像カリキュラムタスクにおいて新しいクラスとの結合が速くなることを示します。また、ニュースレポート（GigaWord）、書籍（Project Gutenberg）、Wikipedia記事（WikiText-103）などの単語ベースの言語モデルでの性能向上も示しており、後者では最先端のパープレキシティ29.2を達成しています。