Pseudo-Label-Lernens durch Unsicherheitsschätzung zur domänenanpassungsfähigen semantischen Segmentierung korrigieren

Diese Arbeit konzentriert sich auf die unsupervisierte Domänenanpassung zur Übertragung von Wissen von der Quell- zur Zieldomäne im Kontext der semantischen Segmentierung. Bestehende Ansätze betrachten in der Regel die Pseudolabels als Ground Truth, um die unlabeled Ziel-Domänen-Daten vollständig auszunutzen. Die Pseudolabels der Ziel-Domänen-Daten werden jedoch typischerweise durch ein Modell generiert, das auf der Quelldomäne trainiert wurde. Dadurch enthalten die erzeugten Labels zwangsläufig fehlerhafte Vorhersagen aufgrund der Diskrepanz zwischen Trainings- und Testdomäne, welche potenziell in das endgültige adaptierte Modell übertragen und somit den Trainingsprozess erheblich beeinträchtigen können. Um dieses Problem zu überwinden, schlägt diese Arbeit vor, während des Trainings explizit die Vorhersageunsicherheit zu schätzen, um das Lernen der Pseudolabels für die unsupervisierte semantische Segmentierungsanpassung zu korrigieren. Gegeben ein Eingabebild liefert das Modell sowohl die semantische Segmentierungsvorhersage als auch die Unsicherheit dieser Vorhersage. Insbesondere modellieren wir die Unsicherheit über die Vorhersagevarianz und integrieren diese Unsicherheit in das Optimierungsziel. Um die Wirksamkeit des vorgeschlagenen Ansatzes zu verifizieren, evaluieren wir ihn an zwei etablierten Benchmarks für die synthetisch-zu-reale semantische Segmentierung, nämlich GTA5 → Cityscapes und SYNTHIA → Cityscapes, sowie an einem weiteren Quer-Stadt-Benchmark, nämlich Cityscapes → Oxford RobotCar. Durch umfangreiche Experimente zeigen wir, dass der vorgeschlagene Ansatz (1) dynamisch unterschiedliche Konfidenzschwellen basierend auf der Vorhersagevarianz festlegt, (2) das Lernen aus verrauschten Pseudolabels korrigiert und (3) signifikante Verbesserungen gegenüber der herkömmlichen Pseudolabel-Lernmethode erzielt und auf allen drei Benchmarks konkurrenzfähige Leistung erbringt.