Verallgemeinerte Few-Shot-Semantische Segmentierung

Das Training von Modellen für semantische Segmentierung erfordert eine große Menge fein annotierter Daten, was es schwierig macht, sich schnell an neue Klassen anzupassen, die diese Bedingung nicht erfüllen. Few-Shot-Segmentierung (FS-Seg) greift dieses Problem unter vielen Einschränkungen auf. In dieser Arbeit stellen wir einen neuen Benchmark vor, der Generalized Few-Shot Semantic Segmentation (GFS-Seg) genannt wird, um die Verallgemeinerungsfähigkeit zu analysieren, bei der neue Kategorien mit sehr wenigen Beispielen und Basis-Kategorien mit ausreichend vielen Beispielen gleichzeitig segmentiert werden. Es ist die erste Studie, die zeigt, dass frühere repräsentative state-of-the-art-Methoden der FS-Seg in GFS-Seg mangelhaft abschneiden und dass die Leistungsunterschiede hauptsächlich auf die eingeschränkte Einstellung der FS-Seg zurückzuführen sind. Um GFS-Seg handhabbar zu machen, haben wir eine GFS-Seg-Baseline eingerichtet, die eine gute Leistung ohne strukturelle Änderungen am ursprünglichen Modell erzielt. Anschließend schlagen wir das Context-Aware Prototype Learning (CAPL) vor, da Kontext für die semantische Segmentierung essentiell ist. CAPL verbessert die Leistungsignifikant durch 1) den Einsatz des Co-Occurrence-Prior-Wissens aus Support-Stichproben und 2) dynamisches Bereichern kontextueller Informationen für den Klassifizierer, abhängig vom Inhalt jedes Abfragebildes. Beide Beiträge wurden experimentell als praktisch wertvoll nachgewiesen. Ausführliche Experimente auf Pascal-VOC und COCO belegen die Effektivität von CAPL, und CAPL verallgemeinert sich gut auf FS-Seg durch das Erreichen wettbewerbsfähiger Leistungen. Der Quellcode ist unter https://github.com/dvlab-research/GFS-Seg verfügbar.