継続的なセマンティックセグメンテーションにおける大規模な忘却と背景の変化への対処

現在、ディープラーニング手法はセマンティックセグメンテーションなどのコンピュータビジョンタスクに広く使用されており、大規模なデータセットと多大な計算リソースを必要としています。セマンティックセグメンテーションの継続的学習（CSS）は、新しいクラスを順次追加することで古いモデルを更新するという新規トレンドです。しかし、継続的学習手法は通常、災害的な忘却（catastrophic forgetting）に脆弱です。この問題は、CSSにおいて各ステップで以前のイテレーションから古いクラスが背景に統合されるため、さらに悪化します。本論文では、特徴レベルでの長距離および短距離の空間関係を保つマルチスケールプーリング蒸留スキームであるLocal PODを提案します。さらに、旧モデルによって予測されたクラスに対するエントロピーに基づいた疑似ラベリング手法を設計し、背景シフトに対処し、旧クラスの災害的な忘却を回避します。最後に、セグメンテーションに特に適した新しい再学習手法を導入します。我々のアプローチであるPLOPは、既存のCSSシナリオだけでなく、新たに提案された困難なベンチマークでも最先端の手法を大幅に上回る性能を示しています。