EAGLE: オブジェクト中心の非教師付き意味分割のための固有値集合学習

意味分割は、従来から広範なピクセルレベルのアノテーションデータに依存してきましたが、これにより無教師手法が登場しました。その中でも、自己教師付きビジョントランスフォーマーを活用した無教師意味分割（Unsupervised Semantic Segmentation: USS）は、表現力豊かな深層特徴を用いて着実に進展しています。しかし、複雑な物体を含む画像の意味分割において、依然として主要な課題が存在します。それは、パッチレベルの特徴量における明示的なオブジェクトレベルの意味エンコーディングの欠如です。この技術的な制約は、多様な構造を持つ複雑な物体の不十分なセグメンテーションにつながることがよくあります。このギャップを埋めるために、我々は新しいアプローチであるEAGLEを提案します。特に、無教師意味分割に焦点を当てたオブジェクト中心の表現学習を強調しています。具体的には、EiCueというスペクトラル技術を導入しました。これは、深層画像特徴の意味的類似行列から得られる固有基底と画像からの色親和性を通じて、意味的および構造的な手がかりを提供します。さらに、EiCueと組み合わせた我々のオブジェクト中心対照損失を導入することで、モデルが画像内および画像間でのオブジェクト特徴の一貫性を持つオブジェクトレベルの表現を学習するように誘導します。これにより、意味的精度が向上します。COCO-Stuff, Cityscapes, およびPotsdam-3データセットでの広範な実験結果は、EAGLEが複雑なシーンにおいて正確かつ一貫性のある意味セグメンテーションを達成し、最先端のUSS結果を示していることを証明しています。