要約
画像レベルのラベルのみを用いた弱教師付きセマンティックセグメンテーション（WSSS）は、アノテーションコストを大幅に削減できるため、近年注目を集めている。しかし、完全教師付き手法と比較して性能は依然として劣っている。この性能ギャップを軽減するために、本研究では注目度をガイドする自己注意機構を備えたネットワーク（SGAN）を提案する。導入した自己注意機構は豊富で広範な文脈情報を捉えることができるが、予期せぬ領域へ注意が誤って拡散される可能性がある。弱教師付き環境下でこの機構を効果的に動作させるため、クラスに依存しない注目度事前知識（saliency priors）を自己注意機構に統合し、クラス固有の注意キューを追加の監視信号として活用する。これにより、SGANは密かつ高精度な局在化ヒントを生成でき、セグメンテーション性能の向上が実現される。さらに、追加の監視信号を部分的にラベル付けされた真値（ground-truth）に置き換えるだけで、SGANは半教師付きセマンティックセグメンテーションにおいても有効に機能することが示された。PASCAL VOC 2012およびCOCOデータセットにおける実験結果から、本手法は弱教師付きおよび半教師付き両設定において、従来の最先端手法をすべて上回ることを確認した。