Command Palette
Search for a command to run...
クラスタリング誘導型クラス活性化を用いた弱教師ありセマンティックセグメンテーション
クラスタリング誘導型クラス活性化を用いた弱教師ありセマンティックセグメンテーション
Wonjun Kim Yeong Woo Kim
概要
トランスフォーマーを活用した弱教師付きセマンティックセグメンテーション(WSSS)手法は、グローバルな文脈を捉える強力な能力を活かして、活発に研究されている。しかし、トランスフォーマーの自己注意機構における活性化関数は、注目されるトークンを少数に限定するため、これらの手法は依然として注目マップの疎性(sparse attention map)という問題を抱えており、結果として不完全な疑似ラベルの生成を引き起こしている。本論文では、対象オブジェクト全体の領域を均一に強調できる新しいクラス活性化スキームを提案する。本手法のキーアイデアは、オブジェクトの類似した画像特徴を統合して形成されるクラスタのガイドに従い、オブジェクト領域を活性化することにある。具体的には、提案するクラスタリングベースの注意モジュールから生成されたクラスタガイド付きクラス活性化マップ(ClusterCAM)において、高い応答性を示す領域を用いて、符号化された特徴空間内の対象オブジェクトを活性化する。これにより、同一オブジェクトから抽出されたパッチトークン間の意味的近接性を活用し、モデルが対象オブジェクトの全体領域を探索できるようになる。この観点に基づき、分類ネットワークとセグメンテーションネットワークを単一ステージで同時に学習可能なエンドツーエンドのWSSSフレームワークを設計した。ベンチマークデータセットにおける実験結果から、本手法は従来のWSSS手法、特に複数段階のアプローチを大幅に上回ることが示された。コードおよびモデルは公開されており、以下より入手可能である:https://github.com/DCVL-WSSS/ClusterCAM。