2ヶ月前
CoMFormer: セマンティックセグメンテーションとパノプティックセグメンテーションにおける継続学習
Cermelli, Fabio ; Cord, Matthieu ; Douillard, Arthur

要約
連続学習におけるセグメンテーションは最近、ますます注目を集めています。しかし、これまでのすべての研究は狭い意味でのセグメンテーションに焦点を当て、パンオプティックセグメンテーション(panoptic segmentation)という重要な実世界への影響を持つタスクを無視してきました。本論文では、意味セグメンテーションとパンオプティックセグメンテーションの両方に対応可能な最初の連続学習モデルを提案します。最近のトランスフォーマー手法がセグメンテーションをマスク分類問題として扱うことに着想を得て、CoMFormerを開発しました。当手法は、新しいクラスを時間とともに学習するためにトランスフォーマー構造の特性を慎重に活用しています。具体的には、新しい適応的ディスティレーション損失とマスクベースの疑似ラベリング技術を提案し、効果的に忘却を防ぐことを目指しています。当アプローチの評価のために、困難なADE20Kデータセット上で新しい連続パンオプティックセグメンテーションベンチマークを導入しました。CoMFormerは既存の基準モデルよりも古いクラスを忘れることが少なく、また新しいクラスをより効果的に学習する性能で上回っています。さらに、大規模な連続意味セグメンテーションシナリオにおいても広範な評価を行い、CoMFormerが最先端手法よりも大幅に優れていることを示しています。