プロトタイプに基づく一貫性正則化を用いた半教師付きセマンティックセグメンテーション

教師ありラベルが限られた画像から教師なし画像へとラベル情報を効果的に伝播させることが、半教師付きセマンティックセグメンテーションの課題である。このようなピクセル単位の予測タスクにおいては、クラス内変動（intra-class variation）の大きさが大きな障壁となる。すなわち、同じ画像内でも同一クラスに属する領域であっても、外見が著しく異なる場合がある。このような多様性は、ピクセル間におけるラベル伝播を困難にする。この問題に対処するため、本研究ではクラス内特徴の分布を正則化する新しいアプローチを提案する。具体的には、線形予測器からの予測と、プロトタイプに基づく予測器からの出力との一貫性を促進する。これにより、同一の擬似クラスに属する特徴が少なくとも1つのクラス内プロトタイプに近づくよう間接的に促し、他のクラスのプロトタイプからは遠く離れるようにする。さらに、CutMix操作と、丁寧に設計されたプロトタイプの維持戦略を組み合わせることで、Pascal VOCおよびCityscapesの両ベンチマークにおいて広範な実験評価を通じて、最先端手法を上回る優れた性能を示す半教師付きセマンティックセグメンテーションアルゴリズムを構築した。