自己教師付き画像固有プロトタイプ探索による弱教師付きセマンティックセグメンテーション

画像レベルのラベルに基づく弱教師付きセマンティックセグメンテーション（WSSS）は、アノテーションコストが低いため注目を集めている。従来の手法は、画像のピクセルと分類器の重みの相関を測定するクラス活性マッピング（CAM）に依存している。しかし、分類器は判別性の高い領域にのみ注目するため、画像内の他の有用な情報を無視してしまうため、不完全な局在マップが生成されてしまう。この問題に対処するため、本研究では、画像固有のプロトタイプ探索（IPE）と汎用・特異性一貫性（GSC）損失から構成される自己教師付き画像固有プロトタイプ探索（SIPE）を提案する。具体的には、IPEにより各画像に特化したプロトタイプを構築し、完全な領域を捉える画像固有CAM（IS-CAM）を実現する。これは2段階の順次処理によって達成される。さらに、GSC損失を導入することで、汎用CAMと本研究の特異的IS-CAMの間の一貫性を構築し、特徴表現の最適化を図るとともに、プロトタイプ探索における自己修正能力を付与する。PASCAL VOC 2012およびMS COCO 2014のセグメンテーションベンチマークにおいて広範な実験を実施した結果、本手法は画像レベルのラベルのみを用いて、新たな最先端性能を達成した。コードは以下のURLから公開されている：https://github.com/chenqi1126/SIPE。