Domänenverallgemeinerung unter Verwendung großer vortrainierter Modelle mit Mixture-of-Adapters

Die Entwicklung robuster visueller Modelle, die auch in Out-of-Distribution (OOD)-Szenarien gut abschneiden, ist eine zentrale Aufgabe für die praktische Anwendung von Modellen in realen Umgebungen. Trotz umfangreicher Forschung in diesem Bereich haben viele vorgeschlagene Methoden im Vergleich zur einfachsten Methode der empirischen Risikominimierung (ERM), die auf einem Benchmark mit begrenztem Suchraum für Hyperparameter evaluiert wurde, nur geringfügige Leistungsverbesserungen erzielt. In dieser Studie konzentrieren wir uns darauf, das Wissen großer vortrainierter Modelle zu nutzen, um die Bewältigung von OOD-Szenarien und Probleme der Domänenverallgemeinerung zu verbessern. Allerdings hat vorangegangene Forschung gezeigt, dass eine naiv durchgeführte Feinjustierung eines großen vortrainierten Modells die OOD-Robustheit beeinträchtigen kann. Daher setzen wir parameter-effiziente Feinjustierungstechniken (PEFT) ein, um die OOD-Robustheit effektiv zu bewahren, während wir mit großen Modellen arbeiten. Unsere umfangreichen Experimente und Analysen bestätigen, dass die effektivsten Ansätze die Ensembles verschiedener Modelle sowie eine Erhöhung der Skalierung des Vortrainings beinhalten. Als Ergebnis erreichen wir eine state-of-the-art-Leistung bei Aufgaben der Domänenverallgemeinerung. Unser Code und die Projektseite sind verfügbar unter: https://cvlab-kaist.github.io/MoA