Domain-Adversarische Trainierung von Neuronalen Netzen

Wir stellen einen neuen Ansatz für das Lernen von Repräsentationen im Kontext der Domänenanpassung vor, bei dem die Daten während des Trainings und Testens aus ähnlichen, aber unterschiedlichen Verteilungen stammen. Unser Ansatz ist direkt von der Theorie der Domänenanpassung inspiriert, die vorschlägt, dass für eine effektive Übertragung zwischen den Domänen Vorhersagen auf der Grundlage von Merkmalen getroffen werden müssen, die nicht zwischen der Quellendomäne (Trainingsdaten) und der Zieldomäne (Testdaten) unterscheiden können. Der Ansatz implementiert diese Idee in neuronalen Netzwerkarchitekturen, die mit etikettierten Daten aus der Quellendomäne und unetikettierten Daten aus der Zieldomäne trainiert werden (etikettierte Zieldomänen-Daten sind nicht erforderlich). Während des Trainings fördert der Ansatz die Entstehung von Merkmalen, die (i) für die Hauptlernaufgabe in der Quellendomäne diskriminativ sind und (ii) bezüglich des Verschiebungsunterschieds zwischen den Domänen nicht diskriminativ sind. Wir zeigen, dass dieses Anpassungsverhalten in fast jedem Feedforward-Modell durch Ergänzung mit wenigen Standard-Layern und einem neuen Gradienten-Umkehr-Layer erreicht werden kann. Die resultierende erweiterte Architektur kann mit Standard-Backpropagation und stochastischem Gradientenabstieg trainiert werden und kann daher mit geringem Aufwand mithilfe eines beliebigen Deep-Learning-Pakets implementiert werden. Wir demonstrieren den Erfolg unseres Ansatzes anhand zweier unterschiedlicher Klassifikationsprobleme (Dokumentsentimentanalyse und Bildklassifikation), bei denen auf Standard-Benchmarks Spitzenleistungen in Bezug auf Domänenanpassung erzielt werden. Zudem validieren wir den Ansatz für eine Deskriptor-Lernaufgabe im Kontext einer Person-Reidentifikationsanwendung.