プロトタイプ混合モデルによる少サンプルセマンティックセグメンテーション

少数回サンプルセグメンテーションは、サポート画像とクエリ画像内の物体が外観や姿勢において大きく異なる可能性があるため、困難である。サポート画像から直接得られる単一のプロトタイプを用いてクエリ画像をセグメンテーションすると、意味的曖昧性が生じる。本論文では、複数のプロトタイプと多様な画像領域を関連付けることで、プロトタイプに基づく意味表現を強化する「プロトタイプ混合モデル（Prototype Mixture Models: PMMs）」を提案する。PMMsは、期待値最大化（Expectation-Maximization）アルゴリズムによって推定され、限られたサポート画像から豊かなチャネルごとの空間的意味情報を抽出する。これらは表現としてだけでなく分類器としても利用され、クエリ画像内の物体を効果的に活性化すると同時に、背景領域を二重のアプローチで抑制する。Pascal VOCおよびMS-COCOデータセットにおける広範な実験の結果、PMMsは既存の最先端手法を顕著に上回ることが示された。特に、MS-COCOにおける5ショットセグメンテーション性能は、モデルサイズおよび推論速度の増加をほとんど伴わず、最大で5.82%向上した。