SAM2-UNet: Segment Anything 2 は自然画像と医療画像のセグメンテーション用の強力なエンコーダーを提供する

画像セグメンテーションは視覚理解において重要な役割を果たしています。最近、新興の視覚基盤モデルが様々なタスクで優れた性能を達成し続けています。このような成功に続き、本論文ではSegment Anything Model 2 (SAM2)がU字型セグメンテーションモデルの強力なエンコーダーとなることを証明します。私たちは多目的画像セグメンテーションのために単純ながら効果的なフレームワークであるSAM2-UNetを提案します。具体的には、SAM2-UNetはSAM2のHieraバックボーンをエンコーダーとして採用し、デコーダーは古典的なU字型設計を使用しています。さらに、エンコーダー内にアダプターを挿入することでパラメータ効率の高い微調整が可能となっています。カモフラージュされた物体検出、注目すべき物体検出、海洋動物セグメンテーション、鏡検出、ポリープセグメンテーションなどの様々な下流タスクにおける初步実験により、私たちのSAM2-UNetが特別な装飾なしに既存の専門的な最先端手法を簡単に上回ることが示されています。プロジェクトページ: \url{https://github.com/WZH0120/SAM2-UNet}。