Verbesserung der Leistung bestehender Segmentatoren durch Zero-Shot-Segmentatoren

Diese Arbeit untersucht das Potenzial der Verwendung des SAM-Segmentators zur Verbesserung der Segmentierungsfähigkeit etablierter Methoden. SAM ist ein promptbasiertes Segmentierungssystem, das eine Zero-Shot-Verallgemeinerung auf unbekannte Objekte und Bilder ermöglicht und somit zusätzliche Trainingsprozesse überflüssig macht. Die Open-Source-Verfügbarkeit von SAM auf GitHub gestattet eine einfache Zugänglichkeit und Implementierung. In unseren Experimenten zielen wir darauf ab, die Segmentierungsgenauigkeit durch die Bereitstellung von Checkpoints an SAM zu verbessern, die aus den von DeepLabv3+ generierten Masken extrahiert wurden, gefolgt von der Fusion der von beiden Netzwerken bereitgestellten Segmentierungsmasken. Zudem untersuchen wir die sogenannte „Oracle“-Methode (als oberer Schranken-Benchmark), bei der Segmentierungsmasken ausschließlich durch SAM mit Checkpoints aus den Ground-Truth-Masken inferiert werden. Zusätzlich testen wir auf dem CAMO-Datensatz einen Ensemble aus PVTv2-Transformatoren; die Kombination aus Ensemble und SAM erzielt dort einen state-of-the-art-Leistungsniveau. Die Ergebnisse unserer Studie liefern wertvolle Einblicke in das Potenzial der Integration des SAM-Segmentators in bestehende Segmentierungstechniken. Mit dieser Arbeit veröffentlichen wir die Open-Source-Implementierung unserer Methode.