PANet: プロトタイプアライメントを用いた少量学習画像セマンティックセグメンテーション

深層CNNが画像の意味分割において大きな進歩を遂げているにもかかわらず、通常は大量の高密度にアノテーションされた画像が必要であり、未見の物体カテゴリへの汎化が困難である。そのため、少ないアノテーション例から分割を行うことを学ぶためのFew-shotセグメンテーションが開発された。本論文では、メトリック学習の観点から挑戦的なFew-shotセグメンテーション問題に取り組み、新しいプロトタイプアラインメントネットワーク（PANet）を提案する。PANetは、埋め込み空間内で少数のサポート画像からクラス固有のプロトタイプ表現を学習し、その後、各ピクセルを学習したプロトタイプと照合することでクエリ画像に対してセグメンテーションを行う。非パラメトリックなメトリック学習により、PANetは各意味クラスを代表し、同時に異なるクラス間で識別可能な高品質なプロトタイプを提供する。さらに、PANetはサポートとクエリ間でのプロトタイプアラインメント正則化を導入している。これにより、PANetはサポートからの知識を十分に活用し、Few-shotセグメンテーションにおけるより良い汎化性能を提供する。特に、当モデルはPASCAL-5iデータセットにおいて1-shot設定でmIoUスコア48.1%、5-shot設定で55.7%を達成しており、それぞれ現行の最先端手法を超える1.8%および8.6%の向上を示している。