MIANet：少量サンプルセマンティックセグメンテーションのための偏りのないインスタンス情報と汎用情報を統合する手法

従来の少サンプルセグメンテーション手法は、メタラーニング戦略に基づき、サポートセットからインスタンス知識を抽出し、それをクエリセットにおけるターゲットオブジェクトのセグメンテーションに適用するものである。しかしながら、サポートセット内の少数のサンプルから得られる知識は、クラス内における多様な変動に対応するには不十分である。この問題に対処するため、本研究では、一般的な知識（すなわち、意味的単語埋め込み）とインスタンス情報の両方を効果的に活用し、高精度なセグメンテーションを実現するための多情報集約ネットワーク（MIANet）を提案する。具体的には、MIANetでは、単語埋め込みから一般的なクラスプロトタイプを抽出するための一般情報モジュール（GIM）を導入する。これにより、インスタンス情報の補完が可能となる。そのため、GIMの実現にあたって、一般クラスプロトタイプをアンカーとし、サポートセット内の局所特徴からポジティブ・ネガティブペアを抽出するトリプレット損失を設計した。この計算されたトリプレット損失により、言語的意味の類似性が単語埋め込み空間から視覚表現空間へと伝達される。さらに、学習時に見られたクラスに偏りが生じるのを軽減し、マルチスケールの情報を得るために、非パラメトリックな階層的事前知識モジュール（HPM）を導入する。HPMは、サポート画像とクエリ画像の特徴間におけるピクセルレベルの類似度を計算することで、バイアスのないインスタンスレベルの情報を生成する。最後に、情報統合モジュール（IFM）が、一般情報とインスタンス情報を統合し、クエリ画像に対する予測を実行する。PASCAL-5iおよびCOCO-20iにおける広範な実験結果から、MIANetが優れた性能を発揮し、新たなSOTA（最良の結果）を達成したことが示された。コードは以下のURLで公開されている：https://github.com/Aldrich2y/MIANet。