Style-Halluzinierte duale Konsistenzlernverfahren für domainspezifische semantische Segmentierung

In diesem Paper untersuchen wir die Aufgabe der generalisierten semantischen Segmentierung von synthetischen zu realen Domänen, die darauf abzielt, ein Modell zu lernen, das robust gegenüber unbekannten realen Szenen ist und ausschließlich auf synthetischen Daten basiert. Der erhebliche Domänenversatz zwischen synthetischen und realen Daten – einschließlich der begrenzten Vielfalt an Quellumgebungen und der großen Verteilungsunterschiede zwischen synthetischen und realen Daten – behindert die Modellleistung erheblich bei unbekannten realen Szenen. In dieser Arbeit schlagen wir den Style-HAllucinated Dual Consistency Learning (SHADE)-Ansatz vor, um diesen Domänenversatz zu bewältigen. Insbesondere basiert SHADE auf zwei Konsistenzbedingungen: der Style-Konsistenz (SC) und der Retrospektions-Konsistenz (RC). Die SC erweitert die Quellbedingungen und fördert, dass das Modell konsistente Darstellungen über stildiverse Beispiele hinweg lernt. Die RC nutzt Wissen aus realen Daten, um zu verhindern, dass das Modell zu stark an synthetische Daten überangepasst wird, und sorgt so dafür, dass die Darstellungen zwischen synthetischen und realen Modellen weitgehend konsistent bleiben. Zudem stellen wir ein neuartiges Style-Halluzinationsmodul (SHM) vor, das stildiverse Beispiele erzeugt, die für die Konsistenzlernung entscheidend sind. Das SHM wählt Basisstile aus der Quellverteilung aus und ermöglicht es dem Modell, während des Trainings dynamisch vielfältige und realistische Beispiele zu generieren. Experimente zeigen, dass unser SHADE eine signifikante Verbesserung erzielt und state-of-the-art-Methoden sowohl im Einzelquellen- als auch im Mehrquellen-Setting um 5,05 % bzw. 8,35 % im durchschnittlichen mIoU auf drei realen Datensätzen übertrifft.