HyperAIHyperAI

Command Palette

Search for a command to run...

Zur einheitlichen und effektiven Domänenverallgemeinerung

Yiyuan Zhang Kaixiong Gong Xiaohan Ding Kaipeng Zhang Fangrui Lv Kurt Keutzer Xiangyu Yue

Zusammenfassung

Wir stellen UniDG\textbf{UniDG}UniDG, einen neuartigen und Uni\textbf{Uni}Unifizierten Rahmen für D\textbf{D}Domain G\textbf{G}Generalization vor, der die Generalisierungsfähigkeit von Grundmodellen außerhalb der Trainingsverteilung signifikant verbessern kann, unabhängig von deren Architektur. Der zentrale Ansatz von UniDG besteht darin, Modelle während der Inferenzphase zu feinabstimmen, wodurch die Kosten für iterative Trainingsprozesse reduziert werden. Konkret ermutigen wir die Modelle, die Verteilung der Testdaten im unsupervisierten Modus zu lernen, und führen eine Strafkomponente bezüglich der Aktualisierungsstufe der Modellparameter ein. Dieser Strafterm kann das Problem des katastrophalen Vergessens effektiv mindern, da wir die Erhaltung des wertvollen Wissens im ursprünglichen Modell maximieren möchten. Empirisch zeigt UniDG auf DomainBed eine durchschnittliche Genauigkeitssteigerung von +5,4 % über 12 visuelle Backbone-Modelle hinweg, darunter CNN-, MLP- und Transformer-basierte Architekturen mit einer Parameteranzahl von 1,89 Mio. bis 303 Mio. Diese Ergebnisse belegen die Überlegenheit und Vielseitigkeit von UniDG. Der Quellcode ist öffentlich unter https://github.com/invictus717/UniDG verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zur einheitlichen und effektiven Domänenverallgemeinerung | Paper | HyperAI