SePiCo: Semantikgesteuerte Pixel-Kontrastierung für domänenadaptive semantische Segmentierung

Domänenadaptive semantische Segmentierung versucht, durch die Nutzung eines auf einem etikettierten Quellbereich trainierten überwachten Modells zufriedenstellende dichte Vorhersagen in einem nicht-etikettierten Zielbereich zu treffen. In dieser Arbeit schlagen wir Semantic-Guided Pixel Contrast (SePiCo) vor, einen neuen einstufigen Anpassungsrahmen, der die semantischen Konzepte einzelner Pixel hervorhebt, um das Lernen von klassifikationsunterscheidenden und klassifikationsausgewogenen Pixelrepräsentationen über Bereiche hinweg zu fördern und letztendlich die Leistung von Selbsttrainingsmethoden zu verbessern. Insbesondere, um geeignete semantische Konzepte zu erforschen, untersuchen wir zunächst ein centroid-bewusstes Pixelkontrastverfahren, das die Kategoriezentren des gesamten Quellbereichs oder eines einzelnen Quellbildes zur Steuerung des Lernens von unterscheidenden Merkmalen verwendet. Angesichts der möglichen Kategorievielfaltsmangel in den semantischen Konzepten bahnen wir dann einen neuen Weg aus verteilungsorientierter Perspektive, um eine ausreichende Menge von Instanzen einzubeziehen, nämlich verteilungsbewusste Pixelkontraste. Dabei approximieren wir die wahre Verteilung jeder semantischen Kategorie anhand der Statistiken der etikettierten Quelldaten. Darüber hinaus kann dieses Optimierungsziel durch implizites Einbeziehen einer unendlichen Anzahl von (un-)ähnlichen Paaren eine geschlossene obere Schranke ableiten, was es rechnerisch effizient macht. Ausführliche Experimente zeigen, dass SePiCo nicht nur das Training stabilisiert, sondern auch unterscheidende Repräsentationen erzeugt und so erhebliche Fortschritte bei Szenarien der Anpassung von synthetisch zu real und von Tag- zu Nachtzeit erreicht.