Prototypische Kontrastanpassung für domainspezifische semantische Segmentierung

Unsupervised Domain Adaptation (UDA) zielt darauf ab, ein Modell, das auf einem beschrifteten Quelldomäne trainiert wurde, auf eine unbeschriftete Ziel-Domäne anzupassen. In diesem Artikel präsentieren wir Prototypical Contrast Adaptation (ProCA), eine einfache und effiziente Methode des kontrastiven Lernens für unsupervised domain adaptive semantische Segmentierung. Bisherige Ansätze zur Domänenanpassung berücksichtigten lediglich die Ausrichtung der intra-klassigen Repräsentationsverteilungen über verschiedene Domänen hinweg, während die inter-klassischen strukturellen Beziehungen unzureichend erforscht wurden. Dies führt dazu, dass die ausgerichteten Repräsentationen auf der Ziel-Domäne möglicherweise nicht mehr so leicht unterscheidbar sind wie auf der Quell-Domäne. Im Gegensatz dazu integriert ProCA inter-klassische Informationen in klassenweise Prototypen und verwendet eine klassenbasierte Verteilungsausrichtung zur Anpassung. Durch die Behandlung der Prototypen derselben Klasse als Positive und der Prototypen anderer Klassen als Negative wird eine klassenbasierte Verteilungsausrichtung erreicht. ProCA erzielt damit den Stand der Technik auf klassischen Aufgaben der Domänenanpassung, nämlich GTA5 → Cityscapes und SYNTHIA → Cityscapes. Der Quellcode ist unter \href{https://github.com/jiangzhengkai/ProCA}{ProCA} verfügbar.