教師なしセマンティックセグメンテーション：特徴対応の知識蒸留による手法

教師なしセマンティックセグメンテーションは、画像コーパス内に存在する意味的に有意なカテゴリを、いかなるラベル付けも行わずに発見および局所化することを目的とする。この課題を解決するためには、各ピクセルに対して意味的に適切でありながら、明確なクラスタを形成できるほどコンパクトな特徴量を生成する必要がある。従来の手法が一貫したエンドツーエンドのフレームワークによってこれを達成しているのに対し、本研究では特徴量学習とクラスタのコンパクト化を分離するアプローチを提案する。実証的に、現在の教師なし特徴量学習フレームワークは既に、意味的に整合性を持つ相関関係を有する高密度な特徴量を生成していることを示した。この観察に基づき、本研究では、教師なし特徴量を高品質な離散的セマンティックラベルに凝縮する新しいフレームワーク「STEGO（Self-supervised Transformer with Energy-based Graph Optimization）」を設計した。STEGOの中心となるのは、特徴量がコンパクトなクラスタを形成しつつも、コーパス全体における相互関係を保持するよう促す新しい対照的損失関数である。STEGOは、CocoStuff（＋14 mIoU）およびCityscapes（＋9 mIoU）のセマンティックセグメンテーションベンチマークにおいて、従来の最先端手法を大きく上回る性能を達成した。