HyperAIHyperAI

Command Palette

Search for a command to run...

Kontrastive Modellanpassung für bedingungsrobuste Semantische Segmentierung

David Bruggemann Christos Sakaridis Tim Brödermann Luc Van Gool

Zusammenfassung

Standardmethoden zur unsupervised Domain Adaptation adaptieren Modelle von einer Quell- auf eine Zieldomäne unter Verwendung von gelabelten Quelldaten und ungelabelten Ziel-Daten gemeinsam. Bei der Modelladaptation hingegen ist der Zugriff auf die gelabelten Quelldaten verboten, d. h., es stehen lediglich das bereits auf der Quelle trainierte Modell und ungelabelte Ziel-Daten zur Verfügung. Wir untersuchen die Adaptation von normalen zu adversen Zuständen für die semantische Segmentierung, wobei im Zielbereich bildbezogene Korrespondenzen verfügbar sind. Die Zielmenge besteht aus ungelabelten Paaren von Straßenbildern unter adversen und normalen Bedingungen, die an GPS-übereinstimmenden Orten aufgenommen wurden. Unser Ansatz – CMA – nutzt diese Bildpaare, um bedingungsunabhängige Merkmale mittels kontrastiver Lernverfahren zu erlernen. Insbesondere fördert CMA, dass Merkmale im Embedding-Raum nach ihrem bedingungsunabhängigen semantischen Inhalt gruppiert werden und nicht nach der Bedingung, unter der die jeweiligen Eingaben aufgenommen wurden. Um präzise semantische Korrespondenzen über Domänen hinweg zu erzielen, transformieren wir das normale Bild auf die Perspektive des adversen Bildes und nutzen die Warping-Vertrauenswerte, um robuste, aggregierte Merkmale zu generieren. Mit diesem Ansatz erreichen wir state-of-the-art Ergebnisse für die semantische Segmentierung bei Modelladaptation auf mehreren Benchmarks für die Adaptation von normalen zu adversen Zuständen, wie beispielsweise ACDC und Dark Zurich. Zudem evaluieren wir CMA auf einem neu beschafften Benchmark für die Generalisierung unter adversen Bedingungen und erzielen gegenüber Standardmethoden zur unsupervised Domain Adaptation trotz der inhärenten Nachteile durch die Unzugänglichkeit der Quelldaten vergleichsweise gute Ergebnisse. Der Quellcode ist unter https://github.com/brdav/cma verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kontrastive Modellanpassung für bedingungsrobuste Semantische Segmentierung | Paper | HyperAI