HyperAIHyperAI

Command Palette

Search for a command to run...

Texture Learning Domain Randomization für domainverallgemeinerte Segmentierung

Sunghwan Kim Dae-hwan Kim Hoseong Kim

Zusammenfassung

Basiert auf Deep Neural Networks (DNNs) entwickelte semantische Segmentierungsmodelle, die auf einem Quelldomäne trainiert wurden, leiden häufig unter einer schlechten Generalisierung auf unbekannte Ziel-Domänen, was als Domänenunterschiedsproblem (domain gap) bekannt ist. Textur trägt häufig erheblich zum Domänenunterschied bei und macht DNNs anfällig für Domänenverschiebungen, da sie tendenziell texturbasiert sind. Bestehende Methoden zur domänenverallgemeinernden semantischen Segmentierung (Domain Generalized Semantic Segmentation, DGSS) haben das Domänenunterschiedsproblem teilweise abgemildert, indem sie die Modelle anleiteten, Form gegenüber Textur zu priorisieren. Andererseits stellen Form und Textur zwei herausragende und sich ergänzende Hinweise in der semantischen Segmentierung dar. In dieser Arbeit wird argumentiert, dass die gezielte Nutzung von Textur entscheidend für die Verbesserung der Leistung in DGSS ist. Speziell stellen wir einen neuen Ansatz vor, den wir Texture Learning Domain Randomization (TLDR) nennen. TLDR beinhaltet zwei neuartige Verlustfunktionen, die die Texturlernleistung in DGSS effektiv verbessern: (1) einen Textur-Regularisierungsverlust, der übermäßige Anpassung an Texturmerkmale der Quelldomäne verhindert, indem Texturmerkmale eines auf ImageNet vortrainierten Modells verwendet werden, und (2) einen Textur-Verallgemeinerungsverlust, der zufällige Stilbilder nutzt, um vielfältige Texturrepräsentationen auf selbstüberwachter Basis zu lernen. Ausführliche experimentelle Ergebnisse belegen die Überlegenheit des vorgeschlagenen TLDR-Ansatzes; beispielsweise erreicht TLDR bei der Aufgabe GTA-to-Cityscapes mit ResNet-50 einen mIoU-Wert von 46,5, was eine Verbesserung des vorherigen Standes der Technik um 1,9 mIoU darstellt. Der Quellcode ist unter https://github.com/ssssshwan/TLDR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp