クラスインクリメンタル学習における動的拡張アーキテクチャにおけるタスクの混同の解決

動的拡張アーキテクチャは、災害的忘却（catastrophic forgetting）の軽減という利点から、クラス増分学習（class incremental learning）において急速に普及しつつある。しかし、この枠組みではタスク間の混同（task confusion）が十分に評価されていない。具体的には、異なるタスクのクラス間の差異が適切に学習されない（すなわち、タスク間混同、inter-task confusion, ITC）、また最新のクラスバッチに依然として優先度が与えられる（すなわち、旧新混同、old-new confusion, ONC）といった問題が存在する。本研究では、これら2種類の混同がもたらす副作用を実証的に検証した。一方で、タスク間で特徴量の判別性と公平性を高めるための新しいアプローチとして、タスク相関増分学習（Task Correlated Incremental Learning, TCIL）を提案する。TCILは、古いタスクから得られた知識を新しいタスクに伝達するためのマルチレベル知識蒸留（knowledge distillation）を実施する。さらに、特徴量レベルおよびログイットレベルに情報伝達経路を構築することで、学習プロセスが過去のクラスを意識できるようにする。また、注目機構（attention mechanism）と分類器の再スコアリングを導入し、より公平な分類スコアを生成する。CIFAR100およびImageNet100データセットを用いた広範な実験の結果、TCILは一貫して最先端の精度を達成した。特に、再現記憶（rehearsal memory）を一切保持しない状況下でも、ITCおよびONCの両方を効果的に軽減し、災害的忘却との戦いにおいて優れた性能を発揮した。