Effiziente Domänenverallgemeinerung durch Zerlegung in gemeinsame und spezifische Rangkomponenten

Domain Generalization bezieht sich auf die Aufgabe, ein Modell zu trainieren, das auf neue Domains verallgemeinert, die während des Trainings nicht gesehen wurden. Wir stellen CSD (Common Specific Decomposition) für diese Einstellung vor, das gemeinsame Komponenten (die auf neue Domains verallgemeinern) und domain-spezifische Komponenten (die bei den Trainingsdomains überanpassen) gemeinsam lernt. Die domain-spezifischen Komponenten werden nach dem Training verworfen und nur die gemeinsame Komponente wird beibehalten. Der Algorithmus ist extrem einfach und beinhaltet lediglich die Modifikation der finalen linearen Klassifikationsschicht einer beliebigen neuronalen Netzwerkarchitektur. Wir führen eine fundierte Analyse durch, um bestehende Ansätze zu verstehen, liefern Identifizierbarkeitsresultate von CSD und untersuchen den Einfluss niedriger Rangzahlen auf die Domain-Verallgemeinerung. Wir zeigen, dass CSD entweder mit oder bessere Ergebnisse als state-of-the-art Ansätze für Domain-Verallgemeinerung erzielt, die auf Domain-Erasure, domain-perturbierten Datenverstärkung und Meta-Lernen basieren. Weitere Diagnosen am rotierten MNIST-Datensatz, bei dem Domains interpretierbar sind, bestätigen die Hypothese, dass CSD erfolgreich gemeinsame und domain-spezifische Komponenten trennt und daher zu einer besseren Domain-Verallgemeinerung führt.