少サンプルセグメンテーションのための事前ガイド特徴拡張ネットワーク

最先端のセマンティックセグメンテーション手法は、良好な結果を得るためには十分なラベル付きデータを必要とし、ファインチューニングなしでは未観測クラスに対してはほとんど機能しない。このような問題に対処するために、少数のラベル付きサポートサンプルを用いて新しいクラスに迅速に適応できるモデルを学習する「フェイショットセグメンテーション」が提案された。しかし、これらのフレームワークは、トレーニングクラスの高レベルな意味情報の不適切な利用や、クエリ画像とサポート画像間の空間的一貫性の欠如により、未観測クラスに対する汎化能力の低下という課題に直面している。これらの問題を軽減するために、本研究では「プライア・ガイドド・フィーチャー・エンリッチメントネットワーク（PFENet）」を提案する。本手法は以下の2つの新規設計から構成される：（1）トレーニング不要なプライアマスク生成法。これは汎化能力を維持しつつモデル性能を向上させる点で優れている。（2）フィーチャー・エンリッチメントモジュール（FEM）。このモジュールは、サポート特徴量およびプライアマスクを適応的に用いてクエリ特徴量を拡張することで、クエリとサポート間の空間的一貫性を克服する。PASCAL-5$^i$およびCOCOにおける広範な実験の結果、提案するプライアマスク生成法およびFEMはいずれもベースライン手法を著しく改善することが確認された。また、効率の低下を伴わず、最先端の手法を大きく上回る性能を達成した。特に驚くべきことに、本モデルはラベル付きサポートサンプルが存在しない状況においても汎化能力を発揮することが示された。本研究のコードは、https://github.com/Jia-Research-Lab/PFENet/ にて公開されている。