Curriculum Domain Adaptation für die semantische Segmentierung von urbanen Szenen

In den letzten fünf Jahren haben Faltungsneuronale Netze (CNNs) im Bereich der semantischen Segmentierung triumphiert, einer der zentralen Aufgaben in vielen Anwendungen wie dem autonomen Fahren. Allerdings erfordert das Training von CNNs eine beträchtliche Menge an Daten, die schwierig zu sammeln und zeitaufwändig zu annotieren sind. Kürzliche Fortschritte in der Computergrafik ermöglichen es nun, CNNs auf fotorealistischen synthetischen Bildern mit computergenerierten Annotationen zu trainieren. Trotzdem beeinträchtigt die Domänenunterschiede zwischen realen Bildern und synthetischen Daten die Leistungsfähigkeit der Modelle. Daher schlagen wir einen curriculumbasierten Lernansatz vor, um den Domänenabstand bei der semantischen Segmentierung von städtischen Szenen zu minimieren. Der curriculumbasierte Domänenanpassung löst zunächst einfache Aufgaben, um notwendige Eigenschaften der Ziel-Domäne abzuleiten; insbesondere besteht die erste Aufgabe darin, globale Labelverteilungen über Bilder und lokale Verteilungen über Landmark-Superpixel zu lernen. Diese sind leicht zu schätzen, da Bilder von städtischen Szenen starke Eigenheiten aufweisen (z.B. die Größe und räumlichen Beziehungen von Gebäuden, Straßen, Autos usw.). Anschließend trainieren wir ein Segmentierungsnetzwerk und regularisieren dessen Vorhersagen in der Ziel-Domäne so, dass sie den abgeleiteten Eigenschaften folgen. In Experimenten übertreffen unsere Methode die Baseline-Methoden auf zwei Datensätzen und zwei Backbone-Netzwerken. Wir berichten auch umfangreiche Abstraktionsstudien zu unserem Ansatz.请注意，"curriculum-style learning approach" 翻译为 "curriculumbasierter Lernansatz"，以符合德语中的复合词构词习惯。此外，“ablation studies” 通常在德语中翻译为 “Abstraktionsstudien”，尽管有时也被称为 “Reduktionsstudien”。这里选择“Abstraktionsstudien”是因为它更常用且更符合学术写作的习惯。