
本研究では、セマンティックセグメンテーションの完全自己教師学習フレームワーク(FS⁴)を提案する。開発世界(オープンワールド)領域において、カスタマイズされたモデルをエンドツーエンドで構築するには、膨大なアノテーション作業を削減できる完全自己教師学習戦略が不可欠である。このようなアプローチは、現実世界の応用シーンにおいて極めて求められている。近年、自己教師学習に基づくセマンティックセグメンテーション手法は著しい進展を遂げているが、それらの多くは完全教師あり事前学習モデルに強く依存しており、完全自己教師学習パイプラインの実現が困難である。この課題を解決するために、我々はセマンティックセグメンテーションのブートストラップ学習スキームを提案し、提案するPGG戦略とCAEモジュールを活用して、グローバルなセマンティック知識を効果的に活用した自己教師学習を実現した。特に、ピクセルクラスタリングと割り当てを用いてセグメンテーションの教師信号を生成している。クラスタリングが不整合な状態に陥るのを防ぐため、1)ピラミッド型グローバルガイド(PGG)学習戦略を導入し、非教師あり特徴をグループ化して生成されたピラミッド画像/ピクセルレベルの擬似ラベルにより学習を指導する。安定したグローバルおよびピラミッドレベルのセマンティック擬似ラベルは、セグメンテーションが過剰なノイズ領域を学習する、あるいは単一の背景領域に劣化するのを防止する。2)さらに、空間的・外観的に近接する隣接領域を非自明な方法で考慮し、グローバル特徴埋め込みを生成するコンテキストに配慮した埋め込み(CAE)モジュールを提案した。本手法は大規模なCOO-Stuffデータセット上で評価され、物質(things)および物質(stuff)の両対象において、7.19 mIoUの性能向上を達成した。