Unüberwachte Domänenanpassung durch Backpropagation

Top-performende Deep-Learning-Architekturen werden auf großen Mengen an annotierten Daten trainiert. Falls für eine bestimmte Aufgabe keine annotierten Daten vorliegen, bietet sich oft die Domänenanpassung (domain adaptation) als attraktive Option, insbesondere wenn annotierte Daten ähnlicher Natur, aber aus einer anderen Domäne (z.B. synthetische Bilder) verfügbar sind. In diesem Beitrag schlagen wir einen neuen Ansatz zur Domänenanpassung in tiefen Architekturen vor, der auf großen Mengen an annotierten Daten aus der Quelldomäne und großen Mengen an unannotierten Daten aus der Zieldomäne trainiert werden kann (keine annotierten Zieldomänen-Daten sind erforderlich).Während des Trainings fördert dieser Ansatz die Entstehung von "tiefen" Merkmalen, die (i) für die Hauptlernaufgabe in der Quelldomäne diskriminativ sind und (ii) invariant gegenüber dem Unterschied zwischen den Domänen sind. Wir zeigen, dass dieses Anpassungsverhalten in fast jedem Feed-Forward-Modell durch Ergänzung mit wenigen Standard-Schichten und einer einfachen neuen Gradienten-Umkehrschicht erreicht werden kann. Die resultierende erweiterte Architektur kann mithilfe des standardmäßigen Backpropagation-Verfahrens trainiert werden.Insgesamt kann der Ansatz mit geringem Aufwand unter Verwendung beliebiger Deep-Learning-Pakete implementiert werden. Die Methode erzielt sehr gute Ergebnisse in einer Reihe von Bildklassifikationsexperimenten, wobei sie auch bei großen Domänenshifts Anpassungseffekte zeigt und die bisherige State-of-the-Art auf Office-Datensätzen übertrifft.