Apprendre des modèles de vision robustes capables de bien se comporter dans des situations hors distribution (OOD) est une tâche cruciale pour le déploiement des modèles dans des environnements réels. Malgré les recherches abondantes dans ce domaine, de nombreuses méthodes proposées n’ont montré que des améliorations mineures par rapport à l’approche la plus simple, la minimisation empirique du risque (ERM), évaluée sur une base de benchmark avec un espace de recherche de hyperparamètres limité. Dans cette étude, nous nous concentrons sur l’exploitation des connaissances des grands modèles préentraînés afin d’améliorer la gestion des scénarios OOD et de résoudre les problèmes de généralisation de domaine. Toutefois, des travaux antérieurs ont révélé qu’un fine-tuning naïf d’un grand modèle préentraîné peut nuire à sa robustesse OOD. Ainsi, nous utilisons des techniques de fine-tuning efficaces en paramètres (PEFT) pour préserver efficacement la robustesse OOD tout en travaillant avec des modèles de grande taille. Nos expériences étendues et notre analyse montrent que les approches les plus efficaces reposent sur l’ensemblage de modèles diversifiés et l’augmentation de l’échelle de préentraînement. En conséquence, nous atteignons des performances de pointe dans les tâches de généralisation de domaine. Notre code et la page du projet sont disponibles à l’adresse suivante : https://cvlab-kaist.github.io/MoA