HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Unsupervised Domain Adaptation für die semantische Segmentierung mittels klassenbalanciertem Self-Training

{B. V. K. Vijaya Kumar Yang Zou Zhiding Yu Jinsong Wang}

Unsupervised Domain Adaptation für die semantische Segmentierung mittels klassenbalanciertem Self-Training

Abstract

Kürzlich erreichten tiefe Netzwerke state-of-the-art-Leistungen bei einer Vielzahl von Aufgaben der semantischen Segmentierung. Trotz dieses Fortschritts stoßen diese Modelle häufig bei realen „wild tasks“ auf Herausforderungen, bei denen eine erhebliche Diskrepanz zwischen den gelabelten Trainings-/Quelldaten und den unbekannten Test-/Zieldaten besteht. Insbesondere wird dieser Unterschied als „Domain-Gap“ bezeichnet und kann zu einer signifikanten Leistungsverschlechterung führen, die sich nicht einfach durch eine weitere Steigerung der Repräsentationskraft beheben lässt. Unüberwachte Domänenanpassung (Unsupervised Domain Adaptation, UDA) zielt darauf ab, dieses Problem ohne Zieldomänenlabels zu überwinden. In diesem Paper stellen wir einen neuartigen UDA-Framework vor, der auf einem iterativen Selbsttrainingsverfahren (Self-Training, ST) basiert, bei dem das Problem als Minimierung einer latenten Variablenverlustfunktion formuliert wird und durch alternierendes Generieren von Pseudolabels auf den Ziel-Daten sowie anschließendes Neutrainieren des Modells mit diesen Labels gelöst werden kann. Ergänzend zu ST schlagen wir ein neuartiges klassenbalanciertes Selbsttrainingsverfahren (Class-Balanced Self-Training, CBST) vor, um die allmähliche Dominanz großer Klassen bei der Pseudolabelgenerierung zu vermeiden, und führen räumliche Priorinformationen ein, um die generierten Labels zu verfeinern. Umfassende Experimente zeigen, dass die vorgeschlagenen Methoden unter mehreren etablierten UDA-Szenarien state-of-the-art-Leistungen bei der semantischen Segmentierung erzielen.

Code-Repositories

Benchmarks

BenchmarkMethodikMetriken
image-to-image-translation-on-gtav-toCBST
mIoU: 47.0
semi-supervised-semantic-segmentation-on-23CBST (Range View)
mIoU (1% Labels): 35.7
mIoU (10% Labels): 50.7
mIoU (20% Labels): 52.7
mIoU (50% Labels): 54.6
semi-supervised-semantic-segmentation-on-24CBST (Range View)
mIoU (1% Labels): 39.9
mIoU (10% Labels): 53.4
mIoU (20% Labels): 56.1
mIoU (50% Labels): 56.9
semi-supervised-semantic-segmentation-on-25CBST (Range View)
mIoU (1% Labels): 40.9
mIoU (10% Labels): 60.5
mIoU (20% Labels): 64.3
mIoU (50% Labels): 69.3

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp