すべてのペアに対する一貫性学習による弱教師付きセマンティックセグメンテーション

本研究では、弱教師ありセマンティックセグメンテーション（WSSS）におけるオブジェクトのより正確な局所化を実現するため、新しいTransformerベースの正則化手法を提案する。画像レベルのWSSSでは、クラス活性マップ（CAM）を用いて偽のセグメンテーションラベルとしてオブジェクトの局所化を生成する。しかし、CAMの部分的活性化問題に対処するための従来の方法では、一貫性正則化が異なる画像増強に対して活性強度の不変性を維持することに注力しているが、各CAM内の領域間のペアワイズ関係性、すなわち文脈情報を捉えるべき関係性を無視している。この問題を解決するため、本研究では新しい「すべてのペア一貫性正則化（All-Pairs Consistency Regularization, ACR）」を提案する。与えられた2つの増強画像ペアに対して、ACRは両者の活性強度の整合性を保つとともに、各視点内における領域間の類似性（アフィニティ）も一貫性を保つように正則化する。本手法では、視覚Transformer（Vision Transformer）を採用することで、自己注意機構が自然にペアワイズな類似性を表現できることを活かし、増強画像ペアの注意マトリクス間の距離を単純に正則化する。さらに、クラストークンの勾配を活用する新たなクラスごとの局所化手法を導入した。本手法はTransformerを用いた既存のWSSS手法に、アーキテクチャの変更なしにシームレスに統合可能である。PASCAL VOCおよびMS COCOデータセット上で実験を行い、提案手法はPASCAL VOCの訓練データにおいて67.3%のmIoUを達成し、クラス局所化マップの品質を顕著に向上させ、結果として優れたWSSS性能を実現した。