HyperAIHyperAI
il y a 17 jours

Vers une généralisation de domaine unifiée et efficace

Yiyuan Zhang, Kaixiong Gong, Xiaohan Ding, Kaipeng Zhang, Fangrui Lv, Kurt Keutzer, Xiangyu Yue
Vers une généralisation de domaine unifiée et efficace
Résumé

Nous proposons $\textbf{UniDG}$, un cadre novateur et $\textbf{Uni}$fié pour la généralisation sur domaine (Domain Generalization), capable d'améliorer significativement la performance de généralisation hors distribution des modèles fondamentaux, indépendamment de leur architecture. L'idée centrale de UniDG consiste à adapter les modèles durant la phase d'inférence, ce qui permet d'éviter les coûts associés à l'entraînement itératif. Plus précisément, nous encourageons les modèles à apprendre de manière non supervisée la distribution des données de test, tout en imposant une pénalité sur le nombre d'étapes de mise à jour des paramètres du modèle. Ce terme de pénalité permet efficacement de réduire le problème de l'oubli catastrophique, car nous souhaitons préserver au maximum les connaissances précieuses présentes dans le modèle initial. Expérimentalement, sur 12 architectures visuelles — incluant des modèles basés sur CNN, MLP et Transformers, avec des tailles variant de 1,89 million à 303 millions de paramètres — UniDG obtient une amélioration moyenne de +5,4 % en précision sur le benchmark DomainBed. Ces résultats mettent clairement en évidence l'efficacité et la polyvalence de UniDG. Le code source est disponible publiquement à l'adresse suivante : https://github.com/invictus717/UniDG