MAS-SAM: 集約された特徴を用いた海洋動物のセグメンテーション

最近、Segment Anything Model (SAM) は高品質なオブジェクトマスクの生成とゼロショット画像セグメンテーションにおいて優れた性能を示しています。しかし、多用途ビジョンモデルとしての SAM は主に大規模な自然光画像で訓練されています。水中シーンでは、光の散乱と吸収により大幅な性能低下が見られます。さらに、SAM のデコーダーの単純さが細かいオブジェクト詳細の損失につながる可能性があります。これらの問題に対処するため、我々は海洋動物セグメンテーション用の新しい特徴学習フレームワークである MAS-SAM を提案します。これは、SAM のエンコーダーに効果的なアダプターを統合し、ピラミダルデコーダーを構築することを含みます。具体的には、まず水中シーン向けに効果的なアダプターを使用して新しい SAM のエンコーダーを構築します。次に、Hypermap Extraction Module (HEM) を導入し、包括的なガイダンスのために多尺度特徴を生成します。最後に、Progressive Prediction Decoder (PPD) を提案し、多尺度特徴を集約して最終的なセグメンテーション結果を予測します。Fusion Attention Module (FAM) との組み合わせにより、我々の方法は全体的なコンテキストから細かい局所詳細まで豊富な海洋情報を抽出することが可能になります。4つの公開 MAS データセットでの広範な実験により、MAS-SAM が他の典型的なセグメンテーション手法よりも優れた結果を得られることを示しています。ソースコードは https://github.com/Drchip61/MAS-SAM で利用可能です。