HyperAIHyperAI
vor 17 Tagen

Texture Learning Domain Randomization für domainverallgemeinerte Segmentierung

Sunghwan Kim, Dae-hwan Kim, Hoseong Kim
Texture Learning Domain Randomization für domainverallgemeinerte Segmentierung
Abstract

Basiert auf Deep Neural Networks (DNNs) entwickelte semantische Segmentierungsmodelle, die auf einem Quelldomäne trainiert wurden, leiden häufig unter einer schlechten Generalisierung auf unbekannte Ziel-Domänen, was als Domänenunterschiedsproblem (domain gap) bekannt ist. Textur trägt häufig erheblich zum Domänenunterschied bei und macht DNNs anfällig für Domänenverschiebungen, da sie tendenziell texturbasiert sind. Bestehende Methoden zur domänenverallgemeinernden semantischen Segmentierung (Domain Generalized Semantic Segmentation, DGSS) haben das Domänenunterschiedsproblem teilweise abgemildert, indem sie die Modelle anleiteten, Form gegenüber Textur zu priorisieren. Andererseits stellen Form und Textur zwei herausragende und sich ergänzende Hinweise in der semantischen Segmentierung dar. In dieser Arbeit wird argumentiert, dass die gezielte Nutzung von Textur entscheidend für die Verbesserung der Leistung in DGSS ist. Speziell stellen wir einen neuen Ansatz vor, den wir Texture Learning Domain Randomization (TLDR) nennen. TLDR beinhaltet zwei neuartige Verlustfunktionen, die die Texturlernleistung in DGSS effektiv verbessern: (1) einen Textur-Regularisierungsverlust, der übermäßige Anpassung an Texturmerkmale der Quelldomäne verhindert, indem Texturmerkmale eines auf ImageNet vortrainierten Modells verwendet werden, und (2) einen Textur-Verallgemeinerungsverlust, der zufällige Stilbilder nutzt, um vielfältige Texturrepräsentationen auf selbstüberwachter Basis zu lernen. Ausführliche experimentelle Ergebnisse belegen die Überlegenheit des vorgeschlagenen TLDR-Ansatzes; beispielsweise erreicht TLDR bei der Aufgabe GTA-to-Cityscapes mit ResNet-50 einen mIoU-Wert von 46,5, was eine Verbesserung des vorherigen Standes der Technik um 1,9 mIoU darstellt. Der Quellcode ist unter https://github.com/ssssshwan/TLDR verfügbar.