連続的な意味分割のための表現補償ネットワーク

本研究では、継続的な意味分割問題に焦点を当てています。この問題においては、深層ニューラルネットワークが新たなクラスを継続的に取り込みつつ、既存の知識を Catastrophic Forgetting（大規模な忘却）せずに学習することが求められます。私たちは、旧知と新知の表現学習を分離するための構造再パラメータ化機構である Representation Compensation (RC) モジュールの使用を提案します。RC モジュールは、一方が固定され、他方が訓練可能な2つの動的に進化するブランチで構成されています。さらに、空間次元とチャンネル次元の両方で行われる Pooled Cube Knowledge Distillation（プーリングキューブ知識蒸留）戦略を設計し、モデルの可塑性と安定性を一層向上させます。私たちは2つの挑戦的な継続的意味分割シナリオ、すなわち継続的クラス分割と継続的ドメイン分割について実験を行いました。推論時には追加の計算負荷やパラメータなしで、当手法は最先端の性能を超える結果を示しました。コードは \url{https://github.com/zhangchbin/RCIL} から入手可能です。