Schwach beschriftete semantische Segmentierung unter Verwendung von außerhalb der Verteilung liegender Daten

Schwach beschriftete semantische Segmentierung (WSSS)-Methoden beruhen häufig auf pixelgenauen Lokalisationskarten, die von einem Klassifikator erzeugt werden. Allerdings leiden Klassifikatoren, die ausschließlich auf Klassenlabels trainiert werden, unter einer spuriousen Korrelation zwischen Vordergrund- und Hintergrundmerkmalen (z. B. Zug und Schiene), was die Leistungsfähigkeit von WSSS grundlegend begrenzt. Bisherige Ansätze haben versucht, dieses Problem durch zusätzliche Supervision zu lösen. Wir schlagen eine neue Informationsquelle vor, um Vordergrund von Hintergrund zu unterscheiden: Out-of-Distribution (OoD)-Daten, also Bilder, die keine Objektklassen des Vordergrunds enthalten. Insbesondere nutzen wir sogenannte „hard“ OoD-Beispiele, bei denen der Klassifikator mit hoher Wahrscheinlichkeit falsch-positive Vorhersagen trifft. Diese Beispiele enthalten typischerweise zentrale visuelle Merkmale im Hintergrund (z. B. Schiene), die der Klassifikator häufig fälschlicherweise als Vordergrund (z. B. Zug) interpretiert. Dadurch ermöglichen diese Merkmale es dem Klassifikator, spurious Hintergrundmerkmale korrekt zu unterdrücken. Die Beschaffung solcher hard OoD-Beispiele erfordert keine umfangreichen Annotationen; es entstehen lediglich geringfügige zusätzliche Kosten für bildbasierte Labels über die ursprünglichen Anforderungen zur Sammlung von Klassenlabels hinaus. Wir stellen eine Methode namens W-OoD vor, die diese hard OoD-Beispiele nutzt. W-OoD erreicht eine state-of-the-art-Leistung auf dem Pascal VOC 2012-Datensatz.