Multiple Fusion Anpassung: Ein Robustes Framework für die unüberwachte semantische Segmentierungsanpassung

Dieses Papier stellt die Aufgabe der semantischen Segmentierung über Domänengrenzen hinweg heraus und zielt darauf ab, die Segmentierungsgenauigkeit im nicht annotierten Zielbereich zu verbessern, ohne zusätzliche Annotationen zu erzeugen. Unter Verwendung des Pseudo-Label-basierten unüberwachten Domänenadaptationspipelines (UDA) schlagen wir eine neuartige und effektive Methode zur Mehrfach-Fusions-Adaptation (MFA) vor. Die MFA berücksichtigt grundsätzlich drei parallele Informationsfusionstrategien, nämlich die Modellkreuzfusionsstrategie, die zeitliche Fusionsstrategie und eine neuartige Online-Offline-Pseudo-Label-Fusion. Insbesondere fördert die Online-Offline-Pseudo-Label-Fusion das adaptive Training, indem es zusätzliche Aufmerksamkeit auf schwierige Bereiche lenkt, die von Offline-Pseudo-Labels leicht übersehen werden, wodurch mehr informativ relevante Details erhalten bleiben. Obwohl die anderen beiden Fusionsstrategien standardmäßig erscheinen mögen, legt MFA erheblichen Wert auf die Steigerung der Effizienz und Effektivität bei der Integration und gelingt es dabei, alle drei Strategien in ein einheitliches Framework zu integrieren. Experimente anhand zweier weit verbreiteter Benchmarks, nämlich GTA5-to-Cityscapes und SYNTHIA-to-Cityscapes, zeigen, dass unsere Methode die semantische Segmentierungsadaption erheblich verbessert und neue Standarts aufstellt (58,2 % und 62,5 % mIoU jeweils). Der Code wird unter https://github.com/KaiiZhang/MFA verfügbar sein.