制約付きFew-shot クラス増分学習

新しいデータから継続的に新たなクラスを学習しつつ、過去に学習したクラスの知識を忘れないようにするという課題は、非常に困難な研究問題である。さらに、このような学習は、以下のメモリおよび計算制約を満たす必要がある：(i) 各クラスのトレーニングサンプル数が少数に制限される、(ii) 新たなクラスを学習する際の計算コストが一定である、(iii) モデルのメモリ使用量が学習済みクラス数に対して高々線形に増加する。上記の制約を満たすために、我々はC-FSCILを提案する。C-FSCILは、固定されたメタ学習特徴抽出器、学習可能な固定サイズの全結合層、および学習済みクラス数に応じて動的に拡張可能な書き換え可能なメモリから構成されるアーキテクチャである。このメモリは、遭遇したクラス数に応じたベクトルを格納する。C-FSCILは、新たなクラス学習における精度と計算・メモリコストのトレードオフを実現するための3つの更新モードを提供する。また、C-FSCILはハイパーディメンショナル埋め込み（hyperdimensional embedding）を活用し、ベクトル空間の固定次元数よりもはるかに多くのクラスを最小限の干渉で継続的に表現可能にする。さらに、新たな損失関数を用いてクラスベクトル同士を準直交的に整列させることで、クラスベクトル表現の品質を向上させている。CIFAR100、miniImageNet、Omniglotの各データセットにおける実験結果から、C-FSCILはベースライン手法と比較して顕著な精度と圧縮性能の向上を示した。また、本研究で試みられた最も大きな問題規模においてもスケーラブルであり、1200のベースクラスに加えて423の新規クラスを学習するという設定において、精度低下が1.6％未満に抑えられた。本研究のコードは、https://github.com/IBM/constrained-FSCIL で公開されている。