Few-Shot セグメンテーションのためのハイブリッドMamba

多数の少サンプルセグメンテーション（FSS）手法は、クエリ特徴量にサポート前景（FG）を統合するためにクロスアテンションを用いるが、その計算複雑度は二次的である。近年のMambaは、シーケンス内依存関係を効果的に捉えることができる一方で、計算複雑度は線形である。このため、本研究ではFSSにおけるシーケンス間依存関係を捉えるためのクロス（アテンションに類似した）Mambaの設計を目指す。単純なアイデアとして、サポート特徴量をスキャンし、それを隠れ状態に選択的に圧縮し、その隠れ状態を初期状態としてクエリ特徴量を順次スキャンする方法が考えられる。しかし、このアプローチには以下の課題がある。（1）サポート忘却問題：クエリ特徴量をスキャンする過程でクエリ特徴量も徐々に圧縮されてしまうため、隠れ状態内のサポート特徴量は継続的に減少し、多くのクエリピクセルが十分なサポート特徴量を統合できなくなる。（2）クラス内ギャップ問題：クエリFGは本質的にサポートFGよりも自分自身と類似しているため、隠れ状態から自らの特徴量を優先して統合したがる傾向がある。しかし、FSSの成功はサポート情報の有効活用に依存している。これらの課題に対処するため、我々はハイブリッドMambaネットワーク（HMNet）を設計した。本ネットワークは以下の2つのモジュールから構成される。（1）サポート再把握Mamba：クエリをスキャンする際に定期的にサポート特徴量を再把握することで、隠れ状態に常に豊富なサポート情報を保持する。（2）クエリ遮断Mamba：クエリピクセル間の相互作用を禁止し、隠れ状態からより多くのサポート特徴量を統合するよう促す。その結果、サポート情報がより効果的に活用され、性能の向上が実現された。2つの公開ベンチマーク上で広範な実験を行った結果、HMNetの優位性が確認された。コードは以下のURLから公開されている：https://github.com/Sam1224/HMNet。