16日前
MSANet:少数ショットセグメンテーションの性能向上のためのマルチシミラリティとアテンションガイダンス
Ehtesham Iqbal, Sirojbek Safarov, Seongdeok Bang

要約
少サンプルセグメンテーション(Few-shot Segmentation, FSS)は、未見クラスのオブジェクトを、わずかな数の密にラベル付けされたサンプルのみを用いてセグメンテーションすることを目的としている。FSSにおいて広く用いられているプロトタイプ学習では、サポート画像の特徴量を、グローバルかつローカルなオブジェクト情報を平均することで、1つまたは複数のプロトタイプを生成する。しかし、単にプロトタイプベクトルのみを用いる場合、すべての学習データの特徴を十分に表現するには不十分である可能性がある。より豊かな特徴を抽出し、より正確な予測を実現するため、本研究では、複数の類似性モジュールとアテンションモジュールを備えた新しいネットワーク構造であるMulti-Similarity and Attention Network(MSANet)を提案する。多様な類似性モジュールは、サポート画像とクエリ画像の複数の特徴マップを活用し、正確な意味的関係を推定する。アテンションモジュールは、ネットワークがクラスに関連する情報を重点的に注目するように指導する。本手法は、標準的なFSSデータセットであるPASCAL-5i 1-shot、PASCAL-5i 5-shot、COCO-20i 1-shot、COCO-20i 5-shotで評価された。ResNet-101をバックボーンとするMSANetは、すべての4つのベンチマークデータセットで最先端の性能を達成し、平均交差率(mIoU)はそれぞれ69.13%、73.99%、51.09%、56.80%を記録した。実装コードは、https://github.com/AIVResearch/MSANet にて公開されている。