MAS-SAM：基于聚合特征的海洋动物分割模型

近日，Segment Anything 模型（SAM）在生成高质量物体掩模和实现零样本图像分割方面表现出色。然而，作为一种多功能视觉模型，SAM 主要使用大规模自然光图像进行训练。在水下场景中，由于光线散射和吸收的影响，其性能显著下降。此外，SAM 解码器的简单性可能导致细粒度物体细节的丢失。为了解决上述问题，我们提出了一种名为 MAS-SAM 的新型特征学习框架，用于海洋动物分割，该框架包括将有效的适配器集成到 SAM 的编码器中，并构建一个金字塔解码器。具体而言，我们首先为水下场景构建了一个带有有效适配器的新 SAM 编码器。然后，我们引入了超图提取模块（Hypermap Extraction Module, HEM），以生成多尺度特征进行全面引导。最后，我们提出了一个渐进预测解码器（Progressive Prediction Decoder, PPD），用于聚合多尺度特征并预测最终的分割结果。当与融合注意力模块（Fusion Attention Module, FAM）结合时，我们的方法能够从全局上下文线索到细粒度局部细节中提取更丰富的海洋信息。在四个公开的 MAS 数据集上的大量实验表明，我们的 MAS-SAM 能够获得比其他典型分割方法更好的结果。源代码可在 https://github.com/Drchip61/MAS-SAM 获取。