少量ショットセグメンテーションのためのマルチ相似性に基づくハイパーリレーションネットワーク

少サンプルセマンティックセグメンテーションは、未観測カテゴリの物体領域を、わずかなアノテーション付き例（サポート画像）を用いた教師信号によって認識することを目的としている。この問題の鍵は、サポート画像とクエリ画像の間の堅牢なセマンティック関係を構築し、過学習を防ぐことにある。本論文では、この課題に対処するため、効果的なマルチシミラリティハイパーリレーションネットワーク（MSHNet）を提案する。MSHNetでは、新しい生成型プロトタイプ類似度（GPS）を導入し、コサイン類似度と併用することで、サポート画像とクエリ画像の間の強固なセマンティック関係を構築する。グローバル特徴に基づいて局所的に生成されるプロトタイプ類似度は、ローカル特徴に基づくグローバルコサイン類似度と論理的に補完的であり、両者の類似度を同時に用いることで、クエリ画像とサポート画像との関係をより包括的に表現できる。さらに、MSHNetでは、複数層・複数ショット・複数類似度のハイパーリレーショナル特徴を効率的に統合するための対称的マージブロック（SMB）を提案する。MSHNetは特定のカテゴリ特徴ではなく、類似度に基づいて構築されているため、より汎用的な統一性を実現でき、過学習を効果的に抑制できる。Pascal-5iおよびCOCO-20iという2つのベンチマークセマンティックセグメンテーションデータセットにおいて、MSHNetは1ショットおよび5ショットセマンティックセグメンテーションタスクにおいて、新たな最先端性能を達成した。