Unüberwachte Mehrziel-Domänenanpassung durch Wissensdistillierung

Die unsupervised domain adaptation (UDA) strebt danach, das Problem des Domänenverschiebungen zwischen der Verteilung von nicht gekennzeichneten Daten aus dem Zielbereich und gekennzeichneten Daten aus dem Quellbereich zu lindern. Während die Einzelziel-UDA-Situation in der Literatur gut untersucht ist, bleibt die Multi-Target Domain Adaptation (MTDA) trotz ihrer praktischen Bedeutung, z.B. in Anwendungen zur Mehrkameravideosurveillance, weitgehend unerforscht. Das MTDA-Problem kann durch die Anpassung eines spezialisierten Modells pro Zielbereich gelöst werden, obwohl diese Lösung in vielen realen Anwendungen zu kostspielig ist. Es wurde vorgeschlagen, mehrere Ziele für die MTDA zu mischen, jedoch kann diese Lösung zu einer Verringerung der Modellspezifität und Genauigkeit führen. In dieser Arbeit schlagen wir einen neuen Ansatz zur unsupervised MTDA vor, um ein CNN zu trainieren, das sich gut auf mehrere Zielbereiche verallgemeinern kann. Unsere Methode Multi-Teacher MTDA (MT-MTDA) basiert auf multi-teacher knowledge distillation (KD), um Wissen über den Zielbereich iterativ von mehreren Lehrern an einen gemeinsamen Schüler weiterzugeben. Der KD-Prozess wird progressiv durchgeführt, wobei der Schüler von jedem Lehrer lernt, wie er UDA für ein bestimmtes Ziel durchführt, anstatt direkt domänengeeignete Merkmale zu erlernen. Schließlich wechselt MT-MTDA zwischen den Lehrern, die Wissen weitergeben, anstatt dieses Wissen zusammenzuführen. Dies bewahrt die Spezifität jedes Ziels (Lehrers) beim Lernen der Anpassung an den Schüler. MT-MTDA wird mit Stand-of-the-Art-Methoden auf mehreren anspruchsvollen UDA-Benchmarks verglichen, und empirische Ergebnisse zeigen, dass unser vorgeschlagenes Modell eine erheblich höhere Genauigkeit über mehrere Zielbereiche hinweg erreichen kann. Unser Code ist unter folgendem Link verfügbar: https://github.com/LIVIAETS/MT-MTDA