SAPA: 類似度を考慮した特徴点の関連付けによる特徴量アップサンプリング

特徴量アップサンプリングに点の所属を導入します。これは、各アップサンプリングされた点が、意味的な類似性を持つ局所デコーダー特徴量点によって形成される意味クラスターに所属することを記述する概念です。点の所属を見直すことで、アップサンプリングカーネルの一般的な定式化を提示します。これらのカーネルは、アップサンプリングされた特徴量マップにおいて、意味的な滑らかさだけでなく境界の鋭さも促進します。このような特性は、セマンティックセグメンテーションなどの一部の密集予測タスクにとって特に有用です。私たちの定式化の主要なアイデアは、エンコーダー特徴量点と空間的に関連付けられたデコーダー特徴量の局所領域との類似性を比較することで、類似性認識型カーネルを生成することです。この方法により、エンコーダー特徴量点がアップサンプリングされた特徴量点の意味クラスターに情報を提供するcueとして機能できます。具体的には、軽量なアップサンプリング演算子であるSimilarity-Aware Point Affiliation (SAPA)を提案し、その変種について調査しました。SAPAは、セマンティックセグメンテーション、物体検出、深度推定、画像マッティングなど多くの密集予測タスクで一貫した性能向上をもたらします。コードは以下のURLから入手可能です: https://github.com/poppinace/sapa