SoMA: Singular Value Decomposed Minor Components Adaptation für dominengenerierbare Darstellungslernverfahren

Domain Generalization (DG) zielt darauf ab, ein Modell mithilfe eines oder mehrerer Quelldomänen so anzupassen, dass es robuste Leistung auch in unbekannten Zieldomänen erzielt. In letzter Zeit haben parameter-effiziente Feinjustierungsmethoden (Parameter-Efficient Fine-Tuning, PEFT) für Grundmodelle vielversprechende Ergebnisse im Kontext des DG-Problems gezeigt. Dennoch stoßen bestehende PEFT-Methoden weiterhin auf Schwierigkeiten, ein Gleichgewicht zwischen der Erhaltung allgemein verwendbarer Komponenten des vortrainierten Modells und der Lernung von aufgabe-spezifischen Merkmalen zu finden. Um Einblicke in die Verteilung allgemein verwendbarer Komponenten zu gewinnen, analysieren wir zunächst die vortrainierten Gewichte mittels Singulärwertzerlegung (Singular Value Decomposition, SVD). Aufbauend auf diesen Erkenntnissen stellen wir Singular Value Decomposed Minor Components Adaptation (SoMA) vor, eine Methode, die gezielt kleinere singuläre Komponenten anpasst, während die übrigen Teile des Modells fixiert bleiben. SoMA behält effektiv die Generalisierungsfähigkeit des vortrainierten Modells bei und erlangt gleichzeitig effizient aufgabenbezogene Fähigkeiten. Zudem fixieren wir domänenunabhängige Blöcke und setzen eine abkühlende Gewichtsabnahme (annealing weight decay) ein, wodurch ein optimales Gleichgewicht im fein abgestimmten Kompromiss zwischen Generalisierbarkeit und Diskriminierbarkeit erreicht wird. SoMA erzielt state-of-the-art-Ergebnisse auf mehreren Benchmarks, die sowohl domain-generalisierte semantische Segmentierung als auch domain-generalisierte Objektdetektion abdecken. Darüber hinaus fügt unsere Methode weder zusätzlichen Inferenzaufwand noch zusätzliche Regularisierungsverluste hinzu, bleibt mit beliebigen Backbone- oder Head-Architekturen kompatibel und ist so vielseitig gestaltet, dass sie problemlos in eine breite Palette von Aufgaben integriert werden kann.