Refign: Align and Refine für die Anpassung der semantischen Segmentierung an ungünstige Bedingungen

Aufgrund der Knappheit dichter pixelgenauer semantischer Annotationen für Bilder, die unter ungünstigen visuellen Bedingungen aufgenommen wurden, besteht ein großes Interesse an unsupervised domain adaptation (UDA) für die semantische Segmentierung solcher Bilder. UDA passt Modelle an, die unter normalen Bedingungen trainiert wurden, an Zielbereiche mit ungünstigen Bedingungen an. Gleichzeitig bieten mehrere Datensätze mit Fahrszenen entsprechende Bilder derselben Szenen unter verschiedenen Bedingungen, die als eine Form von schwacher Aufsicht für die Domänenanpassung dienen können. Wir stellen Refign vor, eine generische Erweiterung selbsttrainierender UDA-Methoden, die diese Kreuzdomänen-Entsprechungen nutzt. Refign besteht aus zwei Schritten: (1) die Ausrichtung des Bildes unter normalen Bedingungen an das entsprechende Bild unter ungünstigen Bedingungen mittels eines unsicherheitsbewussten dichten Matching-Netzwerks und (2) die Verbesserung der Vorhersage unter ungünstigen Bedingungen mithilfe der Vorhersage unter normalen Bedingungen mittels eines adaptiven Label-Korrekturmechanismus. Wir haben spezielle Module für beide Schritte entworfen, um deren Durchführung zu vereinfachen, und erreichen auf mehreren Benchmarks für domänenadaptierte semantische Segmentierung unter ungünstigen Bedingungen – darunter ACDC und Dark Zurich – eine neue state-of-the-art-Leistung. Unser Ansatz führt keine zusätzlichen Trainingsparameter ein, verursacht nur minimalen zusätzlichen Rechenaufwand – ausschließlich während des Trainings – und kann als plug-and-play-Erweiterung verwendet werden, um jedes gegebene selbsttrainierende UDA-Verfahren zu verbessern. Der Quellcode ist unter https://github.com/brdav/refign verfügbar.