隠れたポジティブ情報を活用した教師なしセマンティックセグメンテーション

ピクセル単位のアノテーションをラベル付けるための人材需要が急増したことに伴い、教師なしセマンティックセグメンテーションの登場が促進された。近年、ビジョントランスフォーマー（ViT）をバックボーンとして用いる手法は優れた性能を示しているものの、タスク特有のトレーニングガイダンスや局所的なセマンティック一貫性の観点からの配慮は依然として不足している。これらの課題に取り組むために、我々は対照学習を活用し、隠れたポジティブサンプルを掘り起こすことで、豊かなセマンティック関係を学習し、局所領域におけるセマンティックの一貫性を確保する。具体的には、固定された事前学習済みバックボーンとトレーニング中のセグメンテーションヘッドに基づいて、それぞれ特徴類似度を定義し、各アノカーに対して2種類のグローバルな隠れたポジティブサンプル（タスクに依存しないものとタスク特有のもの）を発見する。後者の貢献度を段階的に増加させることで、モデルはタスク特有のセマンティック特徴を捉えるようになる。さらに、隣接するパッチ間のセマンティック一貫性を学習するため、勾配伝播戦略を導入する。この戦略の根幹には、「近接するパッチは同じ意味を持つ可能性が高い」という前提がある。具体的には、事前に定義された類似度スコアに比例して、局所的な隠れたポジティブサンプルおよび意味的に類似した隣接パッチに損失を伝播させる。これらのトレーニング戦略により、本研究で提案する手法は、COCO-stuff、Cityscapes、Potsdam-3の各データセットにおいて、新たな最先端（SOTA）の結果を達成した。実装コードは以下のURLから公開されている：https://github.com/hynnsk/HP。