Ein genauerer Blick auf Self-training für Zero-Label-Semantische Segmentierung

Die Fähigkeit, bisher nicht beobachtete Klassen zu segmentieren, die während des Trainings nicht vorkamen, stellt eine wichtige technische Herausforderung im Bereich des tiefen Lernens dar, da sie das potenziell kostenaufwändige Annotieren für semantische Segmentierung reduzieren könnte. Vorherige Arbeiten zum Zero-Label-Semantiksegmentierung nähern sich dieser Aufgabe durch das Lernen von visuell-semantischen Embeddings oder generativen Modellen an. Diese Ansätze sind jedoch anfällig für Überanpassung an die gesehenen Klassen, da für diese keine Trainingssignale vorhanden sind. In diesem Paper untersuchen wir die anspruchsvolle Aufgabe der generalisierten Zero-Label-Semantiksegmentierung, bei der das Modell sowohl gesehene als auch nicht gesehene Klassen zur Testzeit segmentieren muss. Wir gehen davon aus, dass Pixel von nicht gesehenen Klassen in den Trainingsbildern vorkommen können, jedoch nicht annotiert sind. Unser Ansatz besteht darin, latente Informationen zu diesen nicht gesehenen Klassen zu erfassen, indem wir das Modell mit selbst erzeugten Pseudolabels für nicht annotierte Pixel überwachen. Wir schlagen einen Konsistenzregularisierer vor, der rauschhafte Pseudolabels durch die Berücksichtigung der Schnittmengen der Pseudolabels, die aus verschiedenen Augmentierungen derselben Bildes generiert wurden, filtert. Unser Framework erzeugt Pseudolabels und trainiert das Modell anschließend erneut mit menschlich annotierten und pseudolabelierten Daten. Dieser Prozess wird über mehrere Iterationen wiederholt. Als Ergebnis erreicht unser Ansatz auf den Datensätzen PascalVOC12 und COCO-stuff die neue State-of-the-Art-Leistung in der anspruchsvollen generalisierten Zero-Label-Semantiksegmentierung, wobei andere bestehende Methoden mit komplexeren Strategien übertroffen werden.