Semi-supervised semantische Segmentierung unter Verwendung zuverlässigkeitsunabhängiger Pseudo-Labels

Der Kern der semi-supervised semantischen Segmentierung besteht darin, den Pixeln unbekannter Bilder angemessene Pseudolabels zuzuweisen. Eine verbreitete Praxis besteht darin, die Vorhersagen mit hoher Konfidenz als Pseudowahrheitswert zu wählen. Dies führt jedoch zu dem Problem, dass viele Pixel aufgrund ihrer Unzuverlässigkeit ungenutzt bleiben. Wir argumentieren, dass jeder Pixel für den Trainingsprozess des Modells von Bedeutung ist, auch wenn seine Vorhersage unsicher ist. Intuitiv kann eine unzuverlässige Vorhersage unter den Top-Klassen (d. h. den Klassen mit den höchsten Wahrscheinlichkeiten) verwechselt sein, sollte jedoch sicher sein, dass der Pixel zu den verbleibenden Klassen nicht gehört. Daher kann ein solcher Pixel überzeugend als negatives Beispiel für die unwahrscheinlichsten Kategorien behandelt werden. Ausgehend von diesem Einblick entwickeln wir eine effektive Pipeline, um unbekannte Daten möglichst auszunutzen. Konkret trennen wir zuverlässige und unzuverlässige Pixel anhand der Entropie der Vorhersagen, schieben jeden unzuverlässigen Pixel in eine kategorienspezifische Warteschlange, die aus negativen Beispielen besteht, und ermöglichen so die Nutzung aller potenziellen Pixel im Modelltraining. Berücksichtigt man die Entwicklung des Trainingsverlaufs, bei dem die Vorhersagen zunehmend genauer werden, passen wir den Schwellwert für die Trennung zwischen zuverlässigen und unzuverlässigen Pixeln adaptiv an. Experimentelle Ergebnisse auf verschiedenen Benchmarks und Trainingskonfigurationen belegen die Überlegenheit unseres Ansatzes gegenüber aktuellen State-of-the-Art-Verfahren.