SAM2-UNet: Segmentierung von allem 2 macht einen starken Encoder für die Segmentierung natürlicher und medizinischer Bilder

Bildsegmentierung spielt eine wichtige Rolle im visuellen Verständnis. Kürzlich haben sich aufstrebende visuelle Grundlagenmodelle kontinuierlich in verschiedenen Aufgaben überzeugend bewährt. Im Anschluss an diesen Erfolg zeigen wir in dieser Arbeit, dass das Segment Anything Modell 2 (SAM2) als leistungsstarker Encoder für U-förmige Segmentierungsmodelle dienen kann. Wir schlagen ein einfaches, aber effektives Framework vor, das SAM2-UNet genannt wird, für vielseitige Bildsegmentierung. Insbesondere verwendet SAM2-UNet den Hiera-Baustein von SAM2 als Encoder, während der Decoder das klassische U-förmige Design nutzt. Zudem werden Adapter in den Encoder eingefügt, um parameter-effizientes Feinjustieren zu ermöglichen. Vorläufige Experimente zu verschiedenen nachgelagerten Aufgaben wie Tarnobjekterkennung, hervorstechende Objekterkennung, Segmentation von Meeresbewohnern, Spiegelerkennung und Polypensegmentierung zeigen, dass unser SAM2-UNet einfach bestehende spezialisierte state-of-the-art-Methoden übertrifft, ohne zusätzliche Tricks oder Verfeinerungen. Projektseite: \url{https://github.com/WZH0120/SAM2-UNet}.