Lernen von Pseudolabels für semi- und schwach überwachte semantische Segmentierung

In diesem Paper befassen wir uns mit der semi- und schwach überwachten semantischen Segmentierung (SWSSS), bei der viele Bildklassifizierungslabels auf Bildebene und nur wenige Pixelannotierungen zur Verfügung stehen. Wir sind der Überzeugung, dass der entscheidende Aspekt zur Lösung des SWSSS-Problems die Erzeugung hochwertiger Pseudolabels ist, und gehen diesem Problem aus zwei Perspektiven entgegen. Erstens führen wir eine klassenbewusste Kreuzentropie-(CCE-)Verlustfunktion für das Netzwerktraining ein. Im Vergleich zur herkömmlichen Kreuzentropie verlangt die CCE-Funktion, dass das Modell lediglich zwischen gleichzeitig auftretenden Klassen unterscheiden muss, wodurch das Lernziel für die Generierung von Pseudolabels vereinfacht wird. Zweitens schlagen wir eine progressive Kreuztrainings-(PCT-)Methode vor, die einen dynamischen Bewertungsmechanismus nutzt, um zwischen zwei Netzwerken eine Kreuzüberwachung aufzubauen, wobei schrittweise hochwertige Vorhersagen als zusätzliche Überwachung für das Training eingesetzt werden. Unser Ansatz verbessert die Qualität der generierten Pseudolabels erheblich, insbesondere in Szenarien mit extrem begrenzten Annotationen. Umfangreiche Experimente zeigen, dass unsere Methode die derzeitigen State-of-the-Art-Verfahren deutlich übertrifft.