HyperAIHyperAI

Command Palette

Search for a command to run...

GETAM:弱教師付きセマンティックセグメンテーションのための勾配重み付き要素別Transformer注意マップ

Weixuan Sun Jing Zhang Zheyuan Liu Yiran Zhong Nick Barnes

概要

弱教師付きセマンティックセグメンテーション(WSSS)は、特に画像レベルのラベルのみを用いてピクセルレベルの予測を監視する場合、極めて困難な課題である。このギャップを埋めるために、通常はクラス活性マップ(CAM)を生成し、ピクセルレベルの擬似ラベルを提供する。畳み込みニューラルネットワーク(CNN)におけるCAMは、部分的活性化(partial activation)という問題を抱えている。すなわち、最も識別性の高い領域のみが活性化され、物体の全体像を十分に捉えることができない。一方、Transformerベースの手法は、長距離依存性のモデリングにより、グローバルな文脈を効果的に捉える能力に優れており、「部分的活性化」問題の緩和が期待できる。本論文では、初めてTransformerを活用したWSSSアプローチを提案し、勾配重み付き要素別Transformer注意マップ(GETAM)を導入する。GETAMは、Transformer層を介して特徴マップのすべての要素に対して細粒度の活性化を示し、物体の異なる部位が各層で明確に可視化される。さらに、活性化情報を意識したラベル補完モジュールを提案し、高品質な擬似ラベルの生成を実現する。最終的に、二重バックプロパゲーションを用いたエンドツーエンドフレームワークに本手法を統合する。PASCAL VOCおよびCOCOにおける広範な実験の結果、本手法は従来のエンドツーエンドアプローチを大きく上回り、多くのマルチステージ手法よりも優れた性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
GETAM:弱教師付きセマンティックセグメンテーションのための勾配重み付き要素別Transformer注意マップ | 記事 | HyperAI超神経