Ausnutzung von Bildübersetzungen durch Ensembles selbstüberwachenden Lernens für unüberwachtes Domänen-Adaptation

Wir stellen eine unsupervisierte Domänenanpassungs-(UDA-)Strategie vor, die mehrere Bildübersetzungen, Ensemble-Lernen und selbstüberwachtes Lernen in einem kohärenten Ansatz kombiniert. Wir konzentrieren uns auf eine der Standardaufgaben der UDA, bei der ein Semantiksegmentierungsmodell auf beschrifteten synthetischen Daten zusammen mit unbeschrifteten realen Daten trainiert wird, um eine hohe Leistung auf den letztgenannten Daten zu erzielen. Um die Vorteile der Nutzung mehrerer Bildübersetzungen auszunutzen, schlagen wir ein Ensemble-Lernverfahren vor, bei dem drei Klassifikatoren ihre Vorhersagen basierend auf Merkmalen unterschiedlicher Bildübersetzungen ermitteln, wodurch jeder Klassifikator unabhängig lernt. Die Ausgaben der Klassifikatoren werden anschließend durch eine sparsame Multinomial-Logistische-Regression kombiniert, die als Meta-Lerner bezeichnet wird. Dieser Regressionslayer hilft dabei, die Verzerrung bei der Generierung von Pseudolabels während des selbstüberwachten Lernens zu verringern und verbessert die Generalisierbarkeit des Modells, indem er die jeweilige Beitragsleistung jedes Klassifikators berücksichtigt. Wir evaluieren unsere Methode anhand der etablierten UDA-Benchmarks, d. h. der Anpassung von GTA V und Synthia an Cityscapes, und erzielen dabei Ergebnisse auf dem Stand der Technik bezüglich des mittleren Intersection-over-Union-Metriks. Um die vorteilhaften Eigenschaften unserer vorgeschlagenen UDA-Strategie zu unterstreichen, werden umfangreiche Ablationsstudien präsentiert.