11日前

ピクセルからセグメントへの対照学習によるユニバーサル弱教師付きセグメンテーション

Tsung-Wei Ke, Jyh-Jing Hwang, Stella X. Yu
ピクセルからセグメントへの対照学習によるユニバーサル弱教師付きセグメンテーション
要約

弱教師付きセグメンテーションは、画像レベルのタグ、オブジェクトのバウンディングボックス、ラベル付きポイントやスクリブルなど部分的なアノテーションを持つトレーニングインスタンスに基づいて、すべてのピクセルにラベルを割り当てるタスクである。このタスクは困難である。なぜなら、粗いアノテーション(タグやボックス)は正確なピクセル位置の情報を持たない一方で、疎なアノテーション(ポイントやスクリブル)は広範な領域をカバーできないからである。従来の手法は、これらの2種類の弱教師付き学習を別々に処理している。粗いラベルの局所化にはクラスアクティベーションマップ(CAM)が用いられ、反復的にセグメンテーションモデルを精緻化するのに対し、疎なラベルは条件付きランダムフィールド(CRF)を用いて画像全体に伝搬される。本研究では、弱教師付きセグメンテーションを、同じ(異なる)意味を持つピクセルが同じ(特徴的に異なる)特徴空間にマッピングされるべきであるという、半教師付きメトリック学習の枠組みとして定式化する。我々は、特徴空間におけるピクセルとセグメントの間で4種類の対照的な関係性を提案する。これらは、低レベルの画像類似性、意味的アノテーション、共起性、および特徴の類似性を捉えるものであり、事前知識(prior)として機能する。このアプローチにより、任意の部分的アノテーションを持つトレーニング画像から、データ駆動型のピクセル単位の特徴を学習可能となる。特に、トレーニング画像内のラベルなしピクセルは、各画像内でのデータ駆動型グループ化に加えて、画像内および画像間での識別的特徴学習にも貢献する。本手法は、Pascal VOCおよびDensePoseにおいて顕著な性能向上を達成する汎用的な弱教師付きセグメンテーション器を提供する。コードはGitHubにて公開されており、https://github.com/twke18/SPML から入手可能である。

ピクセルからセグメントへの対照学習によるユニバーサル弱教師付きセグメンテーション | 最新論文 | HyperAI超神経