Transferlernen mit dynamischer Verteilungsanpassung

Transfer Learning zielt darauf ab, robuste Klassifikatoren für den Zielbereich durch Ausnutzung von Wissen aus einem Quellbereich zu erlernen. Da Quell- und Zielbereich normalerweise unterschiedlichen Verteilungen folgen, konzentrieren sich bestehende Methoden hauptsächlich auf die Anpassung der marginalen oder bedingten Verteilungen über Domänen hinweg. In realen Anwendungen weisen jedoch marginale und bedingte Verteilungen häufig unterschiedliche Beiträge zur Domänenabweichung auf. Bisherige Ansätze sind nicht in der Lage, die unterschiedliche Bedeutung dieser beiden Verteilungen quantitativ zu bewerten, was zu unzufriedenstellenden Transferleistungen führt. In diesem Artikel stellen wir ein neuartiges Konzept namens Dynamic Distribution Adaptation (DDA) vor, das in der Lage ist, die relative Bedeutung jeder Verteilung quantitativ zu bewerten. DDA lässt sich problemlos in den Rahmen der strukturierten Risikominimierung integrieren, um Transfer-Lernprobleme zu lösen. Auf Basis von DDA entwickeln wir zwei neue Lernalgorithmen: (1) Manifold Dynamic Distribution Adaptation (MDDA) für klassisches Transfer Learning und (2) Dynamic Distribution Adaptation Network (DDAN) für tiefes Transfer Learning. Umfangreiche Experimente zeigen, dass MDDA und DDAN die Transferleistung erheblich verbessern und eine starke Baseline gegenüber den neuesten tiefen und adversarialen Methoden in Aufgaben der Ziffernerkennung, Sentimentanalyse und Bildklassifikation darstellen. Vor allem zeigt sich, dass marginale und bedingte Verteilungen unterschiedliche Beiträge zur Domänenabweichung leisten, und dass unser DDA eine gute quantitative Bewertung ihrer relativen Bedeutung ermöglicht, was zu einer besseren Leistung führt. Wir sind überzeugt, dass diese Beobachtung zukünftige Forschungsarbeiten im Bereich des Transfer Learning unterstützen kann.