HyperAIHyperAI

Command Palette

Search for a command to run...

MAS-SAM: Segmente jedes marine Tier mit aggregierten Merkmalen

Tianyu Yan Zifu Wan Xinhao Deng Pingping Zhang* Yang Liu Huchuan Lu

Zusammenfassung

Kürzlich zeigt das Segment Anything Modell (SAM) außergewöhnliche Leistungen bei der Erstellung hochwertiger Objektmasken und dem Erreichen von zero-shot Bildsegmentierung. Als ein vielseitiges Visionmodell wird SAM jedoch hauptsächlich mit groß angelegten natürlichen Lichtbildern trainiert. In Unterwasser-Szenen tritt aufgrund der Lichtstreuung und -absorption eine erhebliche Leistungsverschlechterung auf. Zudem könnte die Einfachheit des SAM-Decoders zu einem Verlust feingranularer Objektdetails führen. Um die oben genannten Probleme zu lösen, schlagen wir einen neuen Feature-Learning-Framework vor, den MAS-SAM für die Segmentierung mariner Tiere, der effektive Adapter in den SAM-Encoder integriert und einen pyramidalen Decoder konstruiert. Genauer gesagt bauen wir zunächst einen neuen SAM-Encoder mit effektiven Adaptern für Unterwasser-Szenen. Anschließend führen wir ein Hypermap Extraktion Modul (HEM) ein, um mehrskalige Features für eine umfassende Führung zu generieren. Schließlich schlagen wir einen Progressiven Prädiktions-Decoder (PPD) vor, um die mehrskaligen Features zu aggregieren und die endgültigen Segmentierungsresultate vorherzusagen. Wenn unser Ansatz mit dem Fusion Attention Modul (FAM) kombiniert wird, ermöglicht dies es, reichhaltigere marine Informationen von globalen kontextuellen Hinweisen bis hin zu feingranularen lokalen Details zu extrahieren. Ausführliche Experimente anhand vier öffentlicher MAS-Datensätze zeigen, dass unser MAS-SAM bessere Ergebnisse als andere typische Segmentierungsverfahren erzielen kann. Der Quellcode ist unter https://github.com/Drchip61/MAS-SAM verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp