Selbstunterstützende Few-Shot-Semantische Segmentierung

Bekannte Few-Shot-Segmentierungsmethoden haben aufgrund des Support-Query-Matching-Frameworks erhebliche Fortschritte erzielt. Sie leiden jedoch weiterhin stark unter der begrenzten Abdeckung innerhalb der Klassenvariationen, die durch die wenigen Support-Beispiele gegeben ist. Ausgehend vom einfachen Gestaltprinzip, dass Pixel derselben Objektklasse ähnlicher sind als Pixel unterschiedlicher Objekte derselben Klasse, schlagen wir eine neuartige Self-Support-Matching-Strategie vor, um dieses Problem zu mildern. Dabei werden Query-Prototypen verwendet, um Query-Features zu matchen, wobei die Query-Prototypen aus hochzuverlässigen Query-Vorhersagen zusammengestellt werden. Diese Strategie ermöglicht es, die konsistenten zugrundeliegenden Merkmale der Query-Objekte effektiv zu erfassen und somit die Query-Features angemessen zu matchen. Zudem stellen wir ein adaptives Modul zur Generierung von Hintergrund-Prototypen im Self-Support-Verfahren sowie eine spezielle Self-Support-Loss-Funktion vor, um den Matching-Prozess weiter zu verbessern. Unser Self-Support-Netzwerk steigert die Qualität der Prototypen erheblich, profitiert stärker von leistungsfähigeren Backbone-Modellen und einer größeren Anzahl an Supports und erreicht den Stand der Technik (SOTA) auf mehreren Datensätzen. Der Quellcode ist unter \url{https://github.com/fanq15/SSP} verfügbar.