Command Palette
Search for a command to run...
階層的意味対比を用いた弱教師付き意味セグメンテーション
階層的意味対比を用いた弱教師付き意味セグメンテーション
Shaorong Xie Tong Liu Jide Li Songmin Dai Xiaoqiang Li Yuanchen Wu
概要
画像レベルのラベルを用いた弱教師付きセマンティックセグメンテーション(WSSS)は、クラス活性化マップ(CAM)を活用することで著しい進展を遂げてきた。しかし、従来のCAMは、完全教師ありと弱教師ありの間のギャップを埋めるためのガイドとして十分に機能しづらく、近年の研究ではCAMがWSSSに適するようにセマンティック表現を改善するアプローチが探求され、有望な結果が報告されている。しかしながら、これらの手法は一般的に単一レベルのセマンティック情報を活用しているため、モデルが包括的なセマンティック構造を学習する上で制約を受ける可能性がある。本研究では、各画像が複数のレベルのセマンティック情報を内包しているという先行知識に着目し、階層的セマンティックコントラスト(HSC)を提案する。HSCは粗い粒度から細かい粒度へと段階的にセマンティックコントラストを実施し、ROIレベル、クラスレベル、ピクセルレベルの3段階を経由することで、モデルが物体パターンをより適切に理解する能力を向上させる。さらにCAMの品質を向上させるため、HSCを基盤として、異なるラベル情報間の一貫性正則化を導入し、モーメンタムプロトタイプ学習を用いて複数画像間で豊富に存在するセマンティック情報を効果的に活用する手法を検討した。広範な実験により、本研究で提案するプラグアンドプレイ型の学習枠組みHSCが、非注目度誘導型および注目度誘導型のベースラインにおいて、CAMの品質を顕著に向上させ、PASCAL VOC 2012データセットにおいて新たな最先端のWSSS性能を達成することが実証された。