Strukturierte Domänenanpassung mit Online-Beziehungsschwerpunkt für unüberwachtes Person Re-ID

Unsupervised Domain Adaptation (UDA) zielt darauf ab, ein Modell, das auf einem beschrifteten Quelldomänen-Datensatz trainiert wurde, auf einen unbeschrifteten Ziel-Domänen-Datensatz zu übertragen. Die Aufgabe der UDA im Kontext von Open-Set-Person-Re-Identification (Re-ID) ist dabei noch herausfordernder, da zwischen den beiden Domänen keine Identitäts- (Klassen-)Überlappung besteht. Ein zentrales Forschungsfeld basierte ursprünglich auf Domänen-Translation, die in den letzten Jahren jedoch an Beliebtheit verloren hat, da ihre Leistung im Vergleich zu Pseudolabel-basierten Methoden unterlegen war. Wir argumentieren, dass die Domänen-Translation großes Potenzial besitzt, um die wertvollen Daten der Quelldomäne effektiv auszunutzen, jedoch bisher keine angemessene Regularisierung des Übersetzungsprozesses vorgesehen wurde. Insbesondere ignorieren bisherige Ansätze die Beziehungen zwischen den einzelnen Bildern während der Übersetzung, während sie lediglich darauf abzielen, die Identitäten der transformierten Bilder zu erhalten. Um diese Herausforderungen zu meistern, schlagen wir einen end-to-end strukturierten Domain-Adaptationsansatz mit einem online-Relation-Konsistenz-Regularisierungsterm vor. Während des Trainings wird der Person-Feature-Encoder so optimiert, dass er dynamisch Beziehungen zwischen den Bildern modelliert, um die Konsistenz der Relationen bei der Domänen-Übersetzung zu überwachen. Diese konsistente Übersetzung liefert wiederum informative, durch die Quelle generierte Bilder, die den Encoder weiter verbessern. Der Encoder kann anschließend zusätzlich durch Pseudolabels weiter verfeinert werden, wobei sowohl die aus der Quelle in die Ziel-Domäne übersetzten Bilder mit echten Identitäten als auch die Ziel-Domänen-Bilder mit Pseudoidentitäten gemeinsam zum Training genutzt werden. In Experimenten zeigt sich, dass unser vorgeschlagener Ansatz eine state-of-the-art-Leistung auf mehreren UDA-Aufgaben im Bereich Person-Re-ID erzielt. Mit synthetisch-zu-realen Bildern, die mittels unseres strukturierten Domänen-Übersetzungsnetzwerks generiert wurden, erreichten wir im Jahr 2020 den zweiten Platz beim Visual Domain Adaptation Challenge (VisDA).