Lernen von glatten Repräsentationen für unüberwachte Domänenanpassung

Typische Methoden der unüberwachten Domänenanpassung (Unsupervised Domain Adaptation, UDA), die auf feindlichen Trainingsverfahren (adversarial training) basieren, sind anfällig, wenn die Quell- und Ziel-Datensätze hochkomplex sind oder eine große Diskrepanz in ihren Datenverteilungen aufweisen. Kürzlich wurden mehrere Methoden untersucht, die auf Lipschitz-Bedingungen basieren. Die Erfüllung der Lipschitz-Stetigkeit garantiert eine bemerkenswerte Leistung in der Ziel-Domäne. Allerdings fehlt es an einer mathematischen Analyse, warum eine Lipschitz-Bedingung für die unüberwachte Domänenanpassung vorteilhaft ist, und sie zeigen in der Regel schlechte Ergebnisse bei großen Datensätzen. In dieser Arbeit erweitern wir das Prinzip der Nutzung von Lipschitz-Bedingungen, indem wir diskutieren, wie diese den Fehlerbereich der unüberwachten Domänenanpassung beeinflussen. Eine Verbindung zwischen ihnen wird hergestellt und es wird dargestellt, wie die Lipschitz-Eigenschaft den Fehlerbereich reduziert. Ein \textbf{lokal glatter Diskrepanzwert} (local smooth discrepancy) wird definiert, um die Lipschitz-Eigenschaft einer Ziel-Verteilung punktweise zu messen. Bei der Erstellung eines tiefen End-to-End-Modells werden in unserer vorgeschlagenen Optimierungsstrategie drei entscheidende Faktoren berücksichtigt, um die Effektivität und Stabilität der unüberwachten Domänenanpassung sicherzustellen: die Anzahl der Stichproben in der Ziel-Domäne, die Dimension und den Batchsize der Stichproben. Experimentelle Ergebnisse zeigen, dass unser Modell auf mehreren Standardbenchmarks gute Leistungen erbringt. Unsere Ausfallstudie (ablation study) zeigt, dass die Anzahl der Stichproben in der Ziel-Domäne sowie die Dimension und der Batchsize der Stichproben tatsächlich stark den Fähigkeiten von Lipschitz-Bedingungs-basierten Methoden zur Bewältigung großer Datensätze zusetzen. Der Code ist unter https://github.com/CuthbertCai/SRDA verfügbar.