Kontrastive Modellanpassung für bedingungsrobuste Semantische Segmentierung

Standardmethoden zur unsupervised Domain Adaptation adaptieren Modelle von einer Quell- auf eine Zieldomäne unter Verwendung von gelabelten Quelldaten und ungelabelten Ziel-Daten gemeinsam. Bei der Modelladaptation hingegen ist der Zugriff auf die gelabelten Quelldaten verboten, d. h., es stehen lediglich das bereits auf der Quelle trainierte Modell und ungelabelte Ziel-Daten zur Verfügung. Wir untersuchen die Adaptation von normalen zu adversen Zuständen für die semantische Segmentierung, wobei im Zielbereich bildbezogene Korrespondenzen verfügbar sind. Die Zielmenge besteht aus ungelabelten Paaren von Straßenbildern unter adversen und normalen Bedingungen, die an GPS-übereinstimmenden Orten aufgenommen wurden. Unser Ansatz – CMA – nutzt diese Bildpaare, um bedingungsunabhängige Merkmale mittels kontrastiver Lernverfahren zu erlernen. Insbesondere fördert CMA, dass Merkmale im Embedding-Raum nach ihrem bedingungsunabhängigen semantischen Inhalt gruppiert werden und nicht nach der Bedingung, unter der die jeweiligen Eingaben aufgenommen wurden. Um präzise semantische Korrespondenzen über Domänen hinweg zu erzielen, transformieren wir das normale Bild auf die Perspektive des adversen Bildes und nutzen die Warping-Vertrauenswerte, um robuste, aggregierte Merkmale zu generieren. Mit diesem Ansatz erreichen wir state-of-the-art Ergebnisse für die semantische Segmentierung bei Modelladaptation auf mehreren Benchmarks für die Adaptation von normalen zu adversen Zuständen, wie beispielsweise ACDC und Dark Zurich. Zudem evaluieren wir CMA auf einem neu beschafften Benchmark für die Generalisierung unter adversen Bedingungen und erzielen gegenüber Standardmethoden zur unsupervised Domain Adaptation trotz der inhärenten Nachteile durch die Unzugänglichkeit der Quelldaten vergleichsweise gute Ergebnisse. Der Quellcode ist unter https://github.com/brdav/cma verfügbar.