Command Palette
Search for a command to run...
GETAM:弱教師付きセマンティックセグメンテーションのための勾配重み付き要素別Transformer注意マップ
GETAM:弱教師付きセマンティックセグメンテーションのための勾配重み付き要素別Transformer注意マップ
Weixuan Sun Jing Zhang Zheyuan Liu Yiran Zhong Nick Barnes
概要
弱教師付きセマンティックセグメンテーション(WSSS)は、特に画像レベルのラベルのみを用いてピクセルレベルの予測を監視する場合、極めて困難な課題である。このギャップを埋めるために、通常はクラス活性マップ(CAM)を生成し、ピクセルレベルの擬似ラベルを提供する。畳み込みニューラルネットワーク(CNN)におけるCAMは、部分的活性化(partial activation)という問題を抱えている。すなわち、最も識別性の高い領域のみが活性化され、物体の全体像を十分に捉えることができない。一方、Transformerベースの手法は、長距離依存性のモデリングにより、グローバルな文脈を効果的に捉える能力に優れており、「部分的活性化」問題の緩和が期待できる。本論文では、初めてTransformerを活用したWSSSアプローチを提案し、勾配重み付き要素別Transformer注意マップ(GETAM)を導入する。GETAMは、Transformer層を介して特徴マップのすべての要素に対して細粒度の活性化を示し、物体の異なる部位が各層で明確に可視化される。さらに、活性化情報を意識したラベル補完モジュールを提案し、高品質な擬似ラベルの生成を実現する。最終的に、二重バックプロパゲーションを用いたエンドツーエンドフレームワークに本手法を統合する。PASCAL VOCおよびCOCOにおける広範な実験の結果、本手法は従来のエンドツーエンドアプローチを大きく上回り、多くのマルチステージ手法よりも優れた性能を達成した。