エンドツーエンドの増分学習

近年、深層学習アプローチは最先端の結果を達成し、注目を集めていますが、依然としてカタストロフィックフォーリング（catastrophic forgetting）という問題に悩まされています。これは、新しいクラスを逐次的に追加して訓練する際に全体的な性能が劇的に低下することを指します。現在のニューラルネットワークアーキテクチャでは、古いクラスと新しいクラスのすべてのサンプルから構成される全データセットを使用してモデルを更新する必要がありますが、クラス数が増えるにつれてこの要件は容易に持続不可能になります。当研究では、新しいデータと古いクラスのサンプルのみからなる小さな代表セットを使用して深層ニューラルネットワークを逐次的に学習するアプローチを提案します。これは、古いクラスで獲得した知識を保持するためのディスティレーション測定と、新しいクラスを学習するためのクロスエントロピー損失から構成される損失関数に基づいています。我々の逐次訓練手法は、データ表現と分類器を共同で学習するエンドツーエンドのフレームワーク全体を維持しながら実現されます。これは最近の方法とは異なり、そのような保証がないものが多い中での特徴です。当手法はCIFAR-100およびImageNet（ILSVRC 2012）画像分類データセットにおいて広範に評価され、最先端の性能を示しています。