13日前
APANet:少サンプルセマンティックセグメンテーションのための適応的プロトタイプアライメントネットワーク
Jiacheng Chen, Bin-Bin Gao, Zongqing Lu, Jing-Hao Xue, Chengjie Wang, Qingmin Liao

要約
少数ショット意味分割は、与えられたクエリ画像における新規クラスのオブジェクトを、わずか数枚のラベル付きサポート画像のみを用いてセグメンテーションすることを目的としている。現在の最先端の手法は、各クエリ特徴量を学習されたクラス固有のプロトタイプと照合することでセグメンテーションを実現するメトリック学習フレームワークを採用している。しかし、このフレームワークは特徴量の比較が不完全であるため、バイアスを伴う分類を引き起こす問題を抱えている。この課題に対処するため、本研究ではクラス固有プロトタイプとクラス無関係プロトタイプを導入し、適応的なプロトタイプ表現を提案する。これにより、クエリ特徴量との意味的アライメント学習に向けた完全なサンプルペアを構築する。補完的な特徴学習方式により、特徴量の比較が豊かになり、少数ショット設定下でバイアスのないセグメンテーションモデルの構築を可能にする。本手法は、クラス固有ブランチとクラス無関係ブランチからなる二本のブランチから構成されるエンドツーエンドネットワークで実装されており、プロトタイプを生成し、クエリ特徴量と組み合わせて比較を行う。さらに、提案するクラス無関係ブランチは構造が単純でありながら非常に有効である。実際の運用では、クエリ画像に対して複数のクラス無関係プロトタイプを適応的に生成し、自己対照的(self-contrastive)な方法で特徴アライメントを学習することができる。PASCAL-5$^i$およびCOCO-20$^i$における広範な実験により、本手法の優位性が実証された。推論効率を犠牲にすることなく、1ショットおよび5ショット設定の両方で、意味分割において最先端の性能を達成している。