低ショットオブジェクトカウントネットワークにおける反復プロトタイプ適応

画像内の任意の意味的カテゴリに対する低ショットカウントを、わずかなアノテーション付きサンプル（few-shot）またはサンプルなし（no-shot）を使用して行うことを検討します。標準的なfew-shotパイプラインは、サンプルから外観クエリを抽出し、それらを画像特徴と照合してオブジェクト数を推定するプロセスに従います。既存の方法では、形状情報（サイズやアスペクト比など）が無視される特徴量プーリングによってクエリが抽出され、これによりオブジェクトの位置特定精度と数推定が低下します。私たちはLow-shot Object Countingネットワークに反復プロトタイプ適応機能を備えたLOCAを提案します。私たちの主な貢献は、新しいオブジェクトプロトタイプ抽出モジュールです。このモジュールは、サンプルの形状と外観情報を画像特徴と反復的に融合させます。また、このモジュールはゼロショットシナリオにも容易に適応できることから、LOCAは低ショットカウント問題全体のスペクトラムに対応できます。LOCAはFSC147ベンチマークにおいてone-shotおよびfew-shotでRMSEで20-30%の改善を示し、最近の最先端手法全てを上回り、さらにzero-shotシナリオでも最先端の性能を達成しながら、より優れた汎化能力を示しています。