CLUDA: Kontrastives Lernen bei unüberwachter Domänenanpassung für semantische Segmentierung

In dieser Arbeit schlagen wir CLUDA vor, eine einfache, aber innovative Methode zur durchführung von unüberwachtem Domänenanpassung (UDA) für die semantische Segmentierung, indem kontrastive Verlustfunktionen in ein Schüler-Lehrer-Lernparadigma integriert werden, das Pseudo-Labels nutzt, die vom Zielbereich durch das Lehrernetzwerk generiert werden. Genauer gesagt extrahieren wir eine mehrstufige fusionierte Merkmalskarte aus dem Encoder und wenden einen kontrastiven Verlust an, der über verschiedene Klassen und verschiedene Bereiche hinweg angewendet wird, durch das Mischen von Quell- und Zielbildern. Wir verbessern die Leistung konsistent bei verschiedenen Merkmalsextraktor-Architekturen und für unterschiedliche Datensätze der Domänenanpassung in der semantischen Segmentierung. Darüber hinaus führen wir einen gelernten gewichteten kontrastiven Verlust ein, um den Stand der Technik in multiresolutionalem Training in UDA zu verbessern. Wir erzielen Stand-der-Technik-Ergebnisse auf den Datensätzen GTA $\rightarrow$ Cityscapes (74,4 mIOU, +0,6) und Synthia $\rightarrow$ Cityscapes (67,2 mIOU, +1,4). CLUDA demonstriert effektiv das Kontrastlernen in UDA als eine generische Methode, die leicht in jede existierende UDA für semantische Segmentierungsaufgaben integriert werden kann. Details zur Implementierung finden Sie im Anhang.