要約
意味分割は幅広い応用範囲を持っていますが、その実世界での影響力は、展開を可能にするために必要な高額なアノテーションコストによって大幅に制限されてきました。教師なしのセグメンテーション手法はこれらのコストを回避できますが、ターゲット分布からラベル付きの例を提供して予測結果に概念名を割り当てるという不便な要件があります。言語-画像事前学習に関する最近の研究では、大規模な概念語彙にわたる名付けと分類のゼロショット転移を可能にするモデルの潜在能力が示されていますが、同等のセグメンテーション能力は示されていません。本研究では、これらの2つのアプローチの強みを組み合わせた統合を目指しています。言語-画像事前学習モデルであるCLIPの検索機能を利用して、任意の概念名集合に対して未ラベル画像から訓練セットを動的にキュレーションし、現代的な画像表現によって提供される堅牢な対応関係を利用して、結果的な集合内のエンティティを共通でセグメント化します。合成されたセグメント集合は、次にピクセルラベルを必要とせずにセグメンテーションモデルを構築するために使用され、その概念知識はCLIPのスケーラブルな事前学習プロセスから継承されます。我々は提案手法である「Retrieve and Co-segment（ReCo）」が教師なしセグメンテーション手法よりも有利に動作し、予測結果への名付けとゼロショット転移の利便性を受け継ぐことを示しています。また、ReCoが非常に稀なオブジェクトに対する専門的なセグメンターを生成する能力も示しています。