MAS-SAM: 집계된 특성을 이용한 모든 해양 동물의 분할

최근, Segment Anything Model (SAM)은 고품질 객체 마스크 생성과 제로샷 이미지 분할에서 뛰어난 성능을 보여주고 있습니다. 그러나 다목적 시각 모델로서 SAM은 주로 대규모 자연광 이미지를 사용하여 훈련되었습니다. 수중 환경에서는 빛의 산란과 흡수로 인해 성능이 크게 저하됩니다. 또한, SAM의 디코더가 간단하다는 점은 세부적인 객체 정보를 잃게 할 수 있습니다. 이러한 문제들을 해결하기 위해, 우리는 해양 동물 분할을 위한 새로운 특성 학습 프레임워크인 MAS-SAM을 제안합니다. 이 프레임워크는 SAM의 인코더에 효과적인 어댑터를 통합하고 피라미드형 디코더를 구축하는 것을 포함합니다.구체적으로, 먼저 수중 환경에 적합한 새로운 SAM의 인코더를 효과적인 어댑터와 함께 구축합니다. 그 다음으로, Hypermap Extraction Module (HEM)을 도입하여 종합적인 안내를 위한 다중 스케일 특성을 생성합니다. 마지막으로, Progressive Prediction Decoder (PPD)를 제안하여 다중 스케일 특성을 집계하고 최종 분할 결과를 예측합니다. Fusion Attention Module (FAM)과 결합하면, 우리의 방법은 전역 컨텍스트 큐부터 세부적인 로컬 정보까지 더 풍부한 해양 정보를 추출할 수 있게 됩니다. 네 개의 공개 MAS 데이터셋에 대한 광범위한 실험 결과는 우리의 MAS-SAM이 다른 일반적인 분할 방법들보다 더 우수한 결과를 얻을 수 있음을 입증하였습니다. 소스 코드는 https://github.com/Drchip61/MAS-SAM에서 확인 가능합니다.