
深層ニューラルネットワーク(DNN)は、新しいクラスを継続的に学習するクラスインクリメンタル学習(class incremental learning)に応用されており、現実世界における一般的な課題に対処することを目的としている。しかし、標準的なDNNには、災害的忘却(catastrophic forgetting)に陥りやすいという欠点がある。知識蒸留(Knowledge Distillation, KD)は、この問題を緩和するために広く用いられる手法である。本論文では、KDが古いクラス内での分類の識別性を高める効果があることを実証する。一方で、KDはモデルが物体を新しいクラスに誤分類する傾向を軽減できず、その結果、KDのポジティブな効果が隠れ、限定的なものとなってしまうことが明らかになった。我々は、災害的忘却の主な要因として、クラスインクリメンタル学習において最終層の全結合層(fully connected layer, FC層)の重みが著しく偏っていることを見出した。本論文では、この観察に基づき、シンプルかつ効果的な解決策を提案する。まず、KDを用いて古いクラス内の識別性を維持する。さらに、古いクラスと新しいクラスの間の公平性を高めるために、通常の学習プロセス後にFC層の偏りを修正する「Weight Aligning(WA)」を提案する。従来の手法とは異なり、WAは追加パラメータや事前にある検証セットを必要とせず、偏りのある重み自体が持つ情報を活用する。提案手法は、ImageNet-1000、ImageNet-100、CIFAR-100の各データセットにおいて、さまざまな設定下で評価された。実験結果から、本手法が災害的忘却を効果的に緩和し、最先端の手法を著しく上回ることを示した。