非監督普遍画像セグメンテーション

いくつかの無教師画像セグメンテーション手法が提案されており、これらの手法は密集した手動アノテーションのセグメンテーションマスクを必要としません。現在のモデルは、語彙的セグメンテーション（例：STEGO）またはクラス非依存のインスタンスセグメンテーション（例：CutLER）を個別に処理しますが、両方を同時に処理する（すなわちパノプティックセグメンテーション）ことはできません。本研究では、新しい統一フレームワークを使用して様々な画像セグメンテーションタスク——インスタンス、語彙的、およびパノプティック——を効果的に実行できる無教師普遍的なセグメンテーションモデル（U2Seg）を提案します。U2Segは、自己教師ありモデルを利用しクラスタリングを行うことでこれらのセグメンテーションタスク用の擬似語彙的ラベルを生成します；各クラスターはピクセルの異なる語彙的および/またはインスタンス所属を表します。次に、この擬似語彙的ラベルでモデルを自己学習させることにより、各タスクに特化した方法よりも大幅な性能向上が得られます：COCOデータセットでの無教師インスタンスセグメンテーションにおいてCutLERに対して+2.6 AP(^{\text{box}}) の向上と、COCOStuffデータセットでの無教師語彙的セグメント化においてSTEGOに対して+7.0 ピクセル精度の向上です。さらに、当手法はこれまで探索されていなかった無教師パノプティックセグメンテーションに対する新たな基準を設定しています。また、U2Segは少ショットセグメンテーションの強力な事前学習モデルとしても機能し、低データ環境下での学習においてCutLERを超える性能を示しています；例えば1%のCOCOラベルのみを使用した場合でも+5.0 AP(^{\text{mask}}) の向上が見られます。私たちはこの単純かつ効果的な手法が、無教師普遍的な画像セグメンテーションに関するさらなる研究への刺激となることを期待しています。