Lernen von übertragbaren Merkmalen mit tiefen Anpassungsnetzen

Neuere Studien zeigen, dass ein tiefes neuronales Netzwerk übertragbare Merkmale lernen kann, die sich gut auf neue Aufgaben für die Domänenanpassung verallgemeinern. Allerdings nimmt die Übertragbarkeit der Merkmale in den höheren Schichten mit zunehmender Domänenabweichung erheblich ab, da tiefgreifende Merkmale schließlich vom Allgemeinen zum Spezifischen übergehen. Daher ist es wichtig, den Datensatzbias formell zu reduzieren und die Übertragbarkeit in aufgabenspezifischen Schichten zu erhöhen. In dieser Arbeit schlagen wir eine neue Architektur des tiefen Anpassungsnetzwerks (Deep Adaptation Network, DAN) vor, die tiefgreifende konvolutorische Neuronennetze auf den Szenario der Domänenanpassung verallgemeinert. Im DAN werden die verborgenen Darstellungen aller aufgabenspezifischen Schichten in einem reproduzierenden Hilbertraum eingebettet, wo die mittleren Einbettungen verschiedener Domänenverteilungen explizit angeglichen werden können. Die Domänenabweichung wird durch eine optimale Mehrukermethode zur Angleichung der mittleren Einbettungen weiter reduziert. DAN kann mit statistischen Garantien übertragbare Merkmale lernen und skaliert linear durch eine unverzerrte Schätzung der Kerneinbettung. Ausführliche empirische Beweise zeigen, dass die vorgeschlagene Architektur auf Standard-Benchmarks für Domänenanpassung zu Stand-der-Technik-Fehlerraten bei der Bildklassifikation führt.