Ein Alternativansatz zu WSSS? Eine empirische Studie des Segment Anything Modells (SAM) bei Aufgaben der schwach überwachten semantischen Segmentierung

Das Segment-Anything-Modell (SAM) hat herausragende Leistungsfähigkeit und Vielseitigkeit gezeigt und stellt somit ein vielversprechendes Werkzeug für diverse verwandte Aufgaben dar. In diesem Bericht untersuchen wir die Anwendung von SAM in der schwach beschrifteten semantischen Segmentierung (Weakly-Supervised Semantic Segmentation, WSSS). Insbesondere adaptieren wir SAM als Pseudolabel-Generierungspipeline unter Verwendung lediglich von bildbasierten Klassenlabels. Während wir in den meisten Fällen beeindruckende Ergebnisse beobachten konnten, identifizieren wir auch bestimmte Grenzen. Unsere Studie umfasst Leistungsanalysen auf den Datensätzen PASCAL VOC und MS-COCO, bei denen wir beachtliche Verbesserungen gegenüber den neuesten Stand der Technik auf beiden Datensätzen erzielen konnten. Wir gehen davon aus, dass dieser Bericht weitere Forschungen zur Integration von SAM in die WSSS anregt sowie breitere Anwendungen in der Praxis fördert.