Few-Shot セマンティックセグメンテーションのための中間プロトタイプマイニングTransformer

少量サンプルにおける意味的セグメンテーション（few-shot semantic segmentation）は、少数のアノテーション付きサポート画像を用いて、クエリ画像内のターゲットオブジェクトをセグメンテーションすることを目的としています。これまでの大多数の研究では、サポート画像からより効果的なカテゴリ情報を抽出し、クエリ画像内の対応するオブジェクトとマッチさせることが主眼とされてきました。しかし、これらの手法は、クエリ画像とサポート画像の間にあるカテゴリ情報のギャップを無視しているという問題を抱えています。特に、オブジェクト間に大きなクラス内多様性が見られる場合、サポート画像からクエリ画像へカテゴリ情報を強制的に移行することは効果を発揮しません。本研究では、初めて中間プロトタイプ（intermediate prototype）を導入し、サポート画像から決定論的なカテゴリ情報を抽出するとともに、クエリ画像から適応的なカテゴリ知識を学習する新たなアプローチを提案します。具体的には、反復的にプロトタイプを学習するための「中間プロトタイプ学習Transformer（Intermediate Prototype Mining Transformer: IPMT）」を設計しました。IPMTの各層において、サポートおよびクエリ特徴量内のオブジェクト情報をプロトタイプに伝搬し、その後、そのプロトタイプを用いてクエリ特徴マップを活性化します。このプロセスを反復的に実行することで、中間プロトタイプとクエリ特徴量の双方が段階的に改善されます。最終的に得られた高精度なクエリ特徴量を用いて、正確なセグメンテーション予測を実現します。PASCAL-5iおよびCOCO-20iの両データセットにおける広範な実験により、本手法の有効性が明確に裏付けられ、従来の最先端手法を大きく上回る性能を達成しました。実装コードは以下のGitHubページで公開されています：https://github.com/LIUYUANWEI98/IPMT