SelfReg: Selbstüberwachte kontrastive Regularisierung für die Domänenverallgemeinerung

Im Allgemeinen geht eine experimentelle Umgebung für Deep Learning davon aus, dass das Trainings- und das Testdatensatz aus der gleichen Verteilung stammen. In realen Situationen kann jedoch ein Unterschied in der Verteilung zwischen zwei Datensätzen, bekannt als Domänenverschiebung (domain shift), auftreten, was zu einem wichtigen Faktor wird, der die Generalisierungsleistung des Modells behindert. Das Forschungsfeld, das sich mit diesem Problem befasst, wird als Domänen-Generalisierung bezeichnet. Es mildert das Problem der Domänenverschiebung durch explizites oder implizites Extrahieren von domäneninvarianten Merkmalen. In jüngsten Studien wurden Ansätze zur Domänen-Generalisierung auf der Grundlage des kontrastiven Lernens vorgeschlagen und erzielten hohe Leistungen. Diese Ansätze erfordern die Stichprobenerhebung von negativen Datenpaaren. Die Leistung des kontrastiven Lernens hängt jedoch grundsätzlich von der Qualität und Menge der negativen Datenpaare ab. Um dieses Problem anzugehen, schlagen wir eine neue Regularisierungsmethode für die Domänen-Generalisierung vor, die auf kontrastivem Lernen basiert: Selbstüberwachtes kontrastives Regularisieren (SelfReg). Der vorgeschlagene Ansatz verwendet nur positive Datenpaare und löst daher verschiedene Probleme, die durch die Stichprobenerhebung von negativen Paaren verursacht werden. Darüber hinaus schlagen wir eine klassenspezifische Domänenstörungsschicht (Class-Specific Domain Perturbation Layer, CDPL) vor, die es ermöglicht, Mixup-Augmentierung effektiv anzuwenden, auch wenn nur positive Datenpaare verwendet werden. Die experimentellen Ergebnisse zeigen, dass die in SelfReg integrierten Techniken in kompatibler Weise zur Leistung beigetragen haben. Bei dem aktuellen Benchmark-Datensatz DomainBed erreicht die vorgeschlagene Methode vergleichbare Leistungen wie herkömmliche state-of-the-art-Alternativen. Der Quellcode ist unter https://github.com/dnap512/SelfReg verfügbar.