Domänenadaptierte semantische Segmentierung mit selbstüberwachter Tiefenschätzung

Domain Adaptation für die semantische Segmentierung zielt darauf ab, die Modellleistung bei einer Verteilungsverschiebung zwischen Quell- und Zielbereich zu verbessern. Die Nutzung von Supervision aus Hilfsaufgaben (z. B. Tiefenschätzung) hat das Potenzial, diese Verschiebung zu verringern, da viele visuelle Aufgaben eng miteinander verbunden sind. Allerdings ist eine solche Supervision nicht immer verfügbar. In dieser Arbeit nutzen wir die Anleitung durch selbstsupervisierte Tiefenschätzung, die in beiden Bereichen verfügbar ist, um die Domänenlücke zu überbrücken. Auf der einen Seite schlagen wir vor, explizit die Korrelation zwischen Aufgabenmerkmalen zu lernen, um die semantischen Vorhersagen im Zielbereich durch die Tiefenschätzung im Zielbereich zu stärken. Auf der anderen Seite nutzen wir die Diskrepanz der Tiefenprädiktionen zwischen Quell- und Ziel-Tiefendeckern, um die pixelweise Adaptierbarkeitsschwierigkeit zu approximieren. Die aus der Tiefeninformation abgeleitete Adaptierbarkeitsschwierigkeit wird anschließend zur Verfeinerung der pseudolabels für die semantische Segmentierung im Zielbereich genutzt. Die vorgeschlagene Methode lässt sich problemlos in bestehende Segmentierungsframeworks integrieren. Wir demonstrieren die Wirksamkeit unseres Ansatzes an den Benchmark-Aufgaben SYNTHIA-to-Cityscapes und GTA-to-Cityscapes, wo wir jeweils neue SOTA-Leistungen von 55,0 % und 56,6 % erzielen. Der Quellcode ist unter \url{https://qin.ee/corda} verfügbar.