Unüberwachte intra-domänale Anpassung für die semantische Segmentierung durch Selbstüberwachung

Ansätze auf Basis von Faltungsneuralen Netzen haben erhebliche Fortschritte in der semantischen Segmentierung erzielt. Allerdings beruhen diese Ansätze stark auf annotierten Daten, die zeitaufwendig sind. Um dieser Beschränkung zu begegnen, werden automatisch annotierte Daten, die aus Grafik-Engines generiert werden, verwendet, um Segmentierungsmodelle zu trainieren. Allerdings sind Modelle, die auf synthetischen Daten trainiert wurden, schwer auf reale Bilder zu übertragen. Um dieses Problem anzugehen, haben frühere Arbeiten direkte Anpassungen der Modelle von den Quelldaten an die unbeschrifteten Ziel-Daten vorgeschlagen (um die inter-domänen-Abweichung zu verringern). Dennoch berücksichtigen diese Techniken nicht die erhebliche Verteilungsabweichung innerhalb der Ziel-Daten selbst (intra-domänen-Abweichung). In dieser Arbeit schlagen wir einen zweistufigen, selbstüberwachten Domänenanpassungsansatz vor, um sowohl die inter- als auch die intra-domänen-Abweichung gleichzeitig zu minimieren. Zunächst führen wir die inter-domänen-Anpassung des Modells durch; aus dieser Anpassung separieren wir die Ziel-Domäne mittels einer entropiebasierten Rangfunktion in eine leicht zu lernende und eine schwierige Teilmenge. Schließlich schlagen wir vor, eine selbstüberwachte Anpassungstechnik von der leichten zur schwierigen Teilmenge einzusetzen, um die intra-domänen-Abweichung zu verringern. Experimentelle Ergebnisse auf zahlreichen Benchmark-Datensätzen unterstreichen die Wirksamkeit unseres Ansatzes gegenüber bestehenden State-of-the-Art-Verfahren. Der Quellcode ist unter https://github.com/feipan664/IntraDA.git verfügbar.