Unsupervised Domain Adaptation für die semantische Segmentierung mittels klassenbalanciertem Self-Training

Kürzlich erreichten tiefe Netzwerke state-of-the-art-Leistungen bei einer Vielzahl von Aufgaben der semantischen Segmentierung. Trotz dieses Fortschritts stoßen diese Modelle häufig bei realen „wild tasks“ auf Herausforderungen, bei denen eine erhebliche Diskrepanz zwischen den gelabelten Trainings-/Quelldaten und den unbekannten Test-/Zieldaten besteht. Insbesondere wird dieser Unterschied als „Domain-Gap“ bezeichnet und kann zu einer signifikanten Leistungsverschlechterung führen, die sich nicht einfach durch eine weitere Steigerung der Repräsentationskraft beheben lässt. Unüberwachte Domänenanpassung (Unsupervised Domain Adaptation, UDA) zielt darauf ab, dieses Problem ohne Zieldomänenlabels zu überwinden. In diesem Paper stellen wir einen neuartigen UDA-Framework vor, der auf einem iterativen Selbsttrainingsverfahren (Self-Training, ST) basiert, bei dem das Problem als Minimierung einer latenten Variablenverlustfunktion formuliert wird und durch alternierendes Generieren von Pseudolabels auf den Ziel-Daten sowie anschließendes Neutrainieren des Modells mit diesen Labels gelöst werden kann. Ergänzend zu ST schlagen wir ein neuartiges klassenbalanciertes Selbsttrainingsverfahren (Class-Balanced Self-Training, CBST) vor, um die allmähliche Dominanz großer Klassen bei der Pseudolabelgenerierung zu vermeiden, und führen räumliche Priorinformationen ein, um die generierten Labels zu verfeinern. Umfassende Experimente zeigen, dass die vorgeschlagenen Methoden unter mehreren etablierten UDA-Szenarien state-of-the-art-Leistungen bei der semantischen Segmentierung erzielen.