Von semantischer zu instanzbasierter Segmentierung: Schwach überwachte Instanzsegmentierung durch semantisches Wissenstransfer und Selbstverfeinerung

Die schwach überwachte Instanzsegmentierung (WSIS) wird als eine herausforderndere Aufgabe angesehen als die schwach überwachte semantische Segmentierung (WSSS). Im Vergleich zu WSSS erfordert WSIS eine instanzweise Lokalisierung, die aus bildbasierten Labels schwer zu extrahieren ist. Um dieses Problem anzugehen, verwenden die meisten WSIS-Methoden vorgefertigte Vorschlagstechniken, die eine Vorabausbildung mit instanz- oder objektbasierten Labels benötigen und somit von der grundlegenden Definition des vollständig bildbasierten überwachten Szenarios abweichen. In diesem Artikel schlagen wir einen neuen Ansatz vor, der zwei innovative Komponenten umfasst. Erstens schlagen wir einen Transfer semantischen Wissens vor, um durch den Transfer des Wissens von WSSS auf WSIS pseudoinstanzbasierte Labels zu erhalten, wobei das Bedürfnis nach vorgefertigten Vorschlägen beseitigt wird. Zweitens schlagen wir eine Methode zur Selbstverfeinerung vor, um die pseudoinstanzbasierten Labels in einem selbstüberwachten Schema zu verfeinern und diese verfeinerten Labels für das Training in Echtzeit zu verwenden. Hierbei entdecken wir ein fehlerhaftes Phänomen, den semantischen Verschiebungseffekt (semantic drift), der durch fehlende Instanzen in den pseudoinstanzbasierten Labels entsteht, die als Hintergrundklasse kategorisiert werden. Diese semantische Verschiebung führt während des Trainings zu Verwechslungen zwischen Hintergrund und Instanzen und verschlechtert letztlich die Segmentationsleistung. Wir bezeichnen dieses Problem als das Problem der semantischen Verschiebung und zeigen, dass unser vorgeschlagener Ansatz zur Selbstverfeinerung das Problem der semantischen Verschiebung beseitigt. Ausführliche Experimente auf PASCAL VOC 2012 und MS COCO belegen die Effektivität unseres Ansatzes, und wir erreichen eine beachtliche Leistung ohne vorgefertigte Vorschlagstechniken. Der Code ist unter https://github.com/clovaai/BESTIE verfügbar.