Ein genauerer Blick auf die Glätte bei domainspezifischer adversarialer Trainierung

Domain-adversariales Training ist weit verbreitet, um invarianten Darstellungen zu erzielen, und wird häufig für verschiedene Aufgaben des Domain-Adaptations eingesetzt. In jüngster Zeit haben Methoden, die zu glatten Optima konvergieren, eine verbesserte Generalisierungsfähigkeit bei überwachten Lernaufgaben wie Klassifikation gezeigt. In dieser Arbeit untersuchen wir den Einfluss von Glättungsformulierungen auf das domain-adversarielle Training, dessen Ziel eine Kombination aus Aufgabenverlust (z. B. Klassifikation, Regression usw.) und adversariellen Termen ist. Wir stellen fest, dass die Konvergenz zu einem glatten Minimum bezüglich des Aufgabenverlustes das adversarielle Training stabilisiert und somit eine bessere Leistung auf dem Zielbereich ermöglicht. Im Gegensatz zum Aufgabenverlust führt die Konvergenz zu einem glatten Minimum bezüglich des adversariellen Verlustes hingegen zu einer suboptimalen Generalisierung auf dem Zielbereich. Auf Basis dieser Analyse führen wir das Verfahren des Smooth Domain Adversarial Training (SDAT) ein, das die Leistung bestehender domain-adversarieller Methoden sowohl für Klassifikations- als auch für Objekterkennungsaufgaben effektiv verbessert. Zudem liefert unsere Analyse Einblicke in die weit verbreitete Präferenz von SGD gegenüber Adam innerhalb der Gemeinschaft für domain-adversariales Training.