Adaptive Methoden für aggregierte Domänenverallgemeinerung

Domain Generalization beinhaltet das Lernen eines Klassifizierers aus einer heterogenen Sammlung von Trainingsquellen, sodass dieser auf Daten aus ähnlichen, jedoch unbekannten Zielbereichen generalisiert, mit Anwendungen in großskaligem Lernen und personalisierter Inferenz. In vielen Szenarien verbieten Datenschutzbedenken die Verfügbarkeit von Domänenlabels für die Trainingsdatenpunkte, sodass lediglich eine aggregierte Sammlung von Trainingsbeispielen vorliegt. Bestehende Ansätze, die Domänenlabels nutzen, um domäneninvariante Merkmalsdarstellungen zu erzeugen, sind in diesem Kontext nicht anwendbar und erfordern stattdessen alternative Methoden zum Lernen generalisierbarer Klassifizierer. In diesem Artikel schlagen wir einen domänenadaptiven Ansatz für dieses Problem vor, der in zwei Schritten operiert: (a) Wir clustern die Trainingsdaten innerhalb eines sorgfältig ausgewählten Merkmalsraums, um sogenannte Pseudodomänen zu erstellen, und (b) unter Verwendung dieser Pseudodomänen lernen wir einen domänenadaptiven Klassifizierer, der Vorhersagen auf Basis von Informationen sowohl über die Eingabe als auch über die zugehörige Pseudodomain trifft. Unser Ansatz erreicht state-of-the-art-Leistungen auf einer Vielzahl von Domain Generalization-Benchmarks, ohne jemals Domänenlabels zu verwenden. Darüber hinaus liefern wir neuartige theoretische Garantien für Domain Generalization unter Verwendung von Clustering-Informationen. Unser Ansatz ist mit ensemble-basierten Methoden kompatibel und erzielt sogar auf großen Benchmark-Datensätzen erhebliche Verbesserungen. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/xavierohan/AdaClust_DomainBed