NAPA-VQ: ネイバーフッド認識プロトタイプ拡張とベクトル量子化を用いた継続学習

カタストロフィック・フォーリング；新しい知識を獲得する際に古い知識が失われる現象は、深層ニューラルネットワークが実世界の応用で直面する落とし穴の一つです。この問題に対する多くの既存の解決策は、代表例（以前に遭遇したデータ）を保存することに依存していますが、メモリ制約やプライバシー制約のあるアプリケーションではこれが実現不可能な場合があります。そのため、最近の研究では代表例を使用せずに新しいクラスを段階的に学習するNon-Exemplar based Class Incremental Learning (NECIL)に焦点が当てられています。しかし、古いデータがないため、NECIL手法は古いクラスと新しいクラスを区別するのが難しく、特徴表現が重複してしまう傾向があります。本稿ではNAPA-VQ: Neighborhood Aware Prototype Augmentation with Vector Quantization（近傍認識型プロトタイプ拡張とベクトル量子化）というフレームワークを提案します。これはNECILにおけるクラス間の重複を軽減することを目指しています。Neural Gasから着想を得て、特徴空間内の位相関係を学習し、互いに混同されやすい近傍クラスを特定します。この近傍情報を利用して、近傍クラス間での強い分離を強制するとともに、古いクラスの代表的なプロトタイプを生成することで、古いクラスと新しいクラス間の判別境界線を得るのに役立つようにします。我々の包括的な実験結果（CIFAR-100, TinyImageNet, および ImageNet-Subsetを使用）は、NAPA-VQが最新のNECIL手法よりも平均して精度で5%、2%、4%向上し、忘却率でも10%、3%、9%改善していることを示しています。本研究のコードはhttps://github.com/TamashaM/NAPA-VQ.gitで公開されています。