大規模増分学習

現代の機械学習は、新しいクラスを逐次的に学習する際に、既存のクラスに関する知識を忘れてしまう「カタストロフィック・フォーティング」に苦しんでいます。これは、古いクラスのデータが不足しているため、性能が著しく低下する現象です。この問題に対処するために、知識蒸留や古いクラスから少数のサンプルを保持する手法を用いて、古いクラスから得られた知識を維持する逐次学習方法が提案されています。しかし、これらの手法は多数のクラスに対してスケールアップすることが困難です。我々は、この問題が次の2つの要因の組み合わせによるものであると考えています：(a) 古いクラスと新しいクラス間のデータ不均衡、および (b) 視覚的に類似したクラス数の増加。特に訓練データが不均衡な場合、視覚的に類似したクラス数が増えることで区別することが非常に難しくなります。そこで我々は、このデータ不均衡問題に対処する単純かつ効果的な手法を提案します。最後の全結合層が新しいクラスに強いバイアスを持っていることがわかりました。このバイアスは線形モデルによって修正することができます。2つのバイアスパラメータを使用することで、当手法は大規模な2つのデータセットで優れた性能を発揮しました：ImageNet（1000クラス）とMS-Celeb-1M（10000クラス）。それぞれ最新のアルゴリズムに対して11.1%と13.2%上回る結果を得ています。