MAS-SAM: Segmente jedes marine Tier mit aggregierten Merkmalen

Kürzlich zeigt das Segment Anything Modell (SAM) außergewöhnliche Leistungen bei der Erstellung hochwertiger Objektmasken und dem Erreichen von zero-shot Bildsegmentierung. Als ein vielseitiges Visionmodell wird SAM jedoch hauptsächlich mit groß angelegten natürlichen Lichtbildern trainiert. In Unterwasser-Szenen tritt aufgrund der Lichtstreuung und -absorption eine erhebliche Leistungsverschlechterung auf. Zudem könnte die Einfachheit des SAM-Decoders zu einem Verlust feingranularer Objektdetails führen. Um die oben genannten Probleme zu lösen, schlagen wir einen neuen Feature-Learning-Framework vor, den MAS-SAM für die Segmentierung mariner Tiere, der effektive Adapter in den SAM-Encoder integriert und einen pyramidalen Decoder konstruiert. Genauer gesagt bauen wir zunächst einen neuen SAM-Encoder mit effektiven Adaptern für Unterwasser-Szenen. Anschließend führen wir ein Hypermap Extraktion Modul (HEM) ein, um mehrskalige Features für eine umfassende Führung zu generieren. Schließlich schlagen wir einen Progressiven Prädiktions-Decoder (PPD) vor, um die mehrskaligen Features zu aggregieren und die endgültigen Segmentierungsresultate vorherzusagen. Wenn unser Ansatz mit dem Fusion Attention Modul (FAM) kombiniert wird, ermöglicht dies es, reichhaltigere marine Informationen von globalen kontextuellen Hinweisen bis hin zu feingranularen lokalen Details zu extrahieren. Ausführliche Experimente anhand vier öffentlicher MAS-Datensätze zeigen, dass unser MAS-SAM bessere Ergebnisse als andere typische Segmentierungsverfahren erzielen kann. Der Quellcode ist unter https://github.com/Drchip61/MAS-SAM verfügbar.