Vollständig selbstüberwachtes Lernen für die semantische Segmentierung

In dieser Arbeit präsentieren wir einen vollständig selbstüberwachten Rahmen für die semantische Segmentierung (FS^4). Eine vollständig bootstrapped Strategie für die semantische Segmentierung, die erhebliche Anstrengungen bei der Erstellung großer Mengen an Annotationen erspart, ist entscheidend für die Entwicklung maßgeschneiderter Modelle von Ende zu Ende für offene Weltbereiche. Dieser Anwendungsfall ist in realen Szenarien dringend erforderlich. Obwohl neuere selbstüberwachte Ansätze für die semantische Segmentierung erhebliche Fortschritte erzielt haben, hängen diese Verfahren jedoch stark von vollständig überwachten vortrainierten Modellen ab, was die Realisierung einer vollständig selbstüberwachten Pipeline unmöglich macht. Um dieses Problem zu lösen, schlagen wir ein bootstrapped Trainingsschema für die semantische Segmentierung vor, das die globale semantische Kenntnis vollständig nutzt, unterstützt durch unsere vorgeschlagene PGG-Strategie und den CAE-Modul. Insbesondere führen wir eine Pixel-Clustering- und Zuweisungsstrategie zur Segmentierungssupervision durch. Um ein chaotisches Clustering zu verhindern, stellen wir folgendes vor: 1) eine pyramidale global-gesteuerte (PGG) Trainingsstrategie, die das Lernen mit pyramidalen Bild-/Patch-Level-Pseudolabels supervidiert, die durch Gruppierung unüberwachter Merkmale generiert werden. Stabile globale und pyramidale semantische Pseudolabels verhindern, dass die Segmentierung zu viele Störregionen lernt oder in eine einzige Hintergrundregion abfällt; 2) zusätzlich schlagen wir einen kontextbewussten Embedding-(CAE)-Modul vor, der globale Merkmals-Embeddings auf nichttriviale Weise unter Berücksichtigung benachbarter Elemente sowohl im räumlichen als auch im optischen Sinne erzeugt. Wir evaluieren unsere Methode auf dem großskaligen COCO-Stuff-Datensatz und erreichen eine Verbesserung von 7,19 mIoU sowohl bei Dingen als auch bei Sachen.