Unsupervised Domain Adaptation für die semantische Segmentierung mittels klassenbalanciertem Self-Training
{B. V. K. Vijaya Kumar Yang Zou Zhiding Yu Jinsong Wang}

Abstract
Kürzlich erreichten tiefe Netzwerke state-of-the-art-Leistungen bei einer Vielzahl von Aufgaben der semantischen Segmentierung. Trotz dieses Fortschritts stoßen diese Modelle häufig bei realen „wild tasks“ auf Herausforderungen, bei denen eine erhebliche Diskrepanz zwischen den gelabelten Trainings-/Quelldaten und den unbekannten Test-/Zieldaten besteht. Insbesondere wird dieser Unterschied als „Domain-Gap“ bezeichnet und kann zu einer signifikanten Leistungsverschlechterung führen, die sich nicht einfach durch eine weitere Steigerung der Repräsentationskraft beheben lässt. Unüberwachte Domänenanpassung (Unsupervised Domain Adaptation, UDA) zielt darauf ab, dieses Problem ohne Zieldomänenlabels zu überwinden. In diesem Paper stellen wir einen neuartigen UDA-Framework vor, der auf einem iterativen Selbsttrainingsverfahren (Self-Training, ST) basiert, bei dem das Problem als Minimierung einer latenten Variablenverlustfunktion formuliert wird und durch alternierendes Generieren von Pseudolabels auf den Ziel-Daten sowie anschließendes Neutrainieren des Modells mit diesen Labels gelöst werden kann. Ergänzend zu ST schlagen wir ein neuartiges klassenbalanciertes Selbsttrainingsverfahren (Class-Balanced Self-Training, CBST) vor, um die allmähliche Dominanz großer Klassen bei der Pseudolabelgenerierung zu vermeiden, und führen räumliche Priorinformationen ein, um die generierten Labels zu verfeinern. Umfassende Experimente zeigen, dass die vorgeschlagenen Methoden unter mehreren etablierten UDA-Szenarien state-of-the-art-Leistungen bei der semantischen Segmentierung erzielen.
Code-Repositories
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-to-image-translation-on-gtav-to | CBST | mIoU: 47.0 |
| semi-supervised-semantic-segmentation-on-23 | CBST (Range View) | mIoU (1% Labels): 35.7 mIoU (10% Labels): 50.7 mIoU (20% Labels): 52.7 mIoU (50% Labels): 54.6 |
| semi-supervised-semantic-segmentation-on-24 | CBST (Range View) | mIoU (1% Labels): 39.9 mIoU (10% Labels): 53.4 mIoU (20% Labels): 56.1 mIoU (50% Labels): 56.9 |
| semi-supervised-semantic-segmentation-on-25 | CBST (Range View) | mIoU (1% Labels): 40.9 mIoU (10% Labels): 60.5 mIoU (20% Labels): 64.3 mIoU (50% Labels): 69.3 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.