Déjeuner gratuit pour l'entraînement adversaire par domaine : lissage des étiquettes d'environnement

Un défi fondamental des modèles d'apprentissage automatique réside dans la capacité à généraliser les modèles appris aux données hors distribution (OOD). Parmi les différentes approches, l'exploitation de caractéristiques invariantes par entraînement adversarial par domaine (Domain Adversarial Training, DAT) a suscité un large intérêt. Malgré ses succès, nous observons une instabilité d'entraînement dans le cadre du DAT, principalement due à un discriminateur de domaine trop confiant et à un bruit dans les étiquettes d'environnement. Pour remédier à ce problème, nous proposons une méthode appelée lissage des étiquettes d'environnement (Environment Label Smoothing, ELS), qui encourage le discriminateur à produire des probabilités douces, réduisant ainsi sa confiance et atténuant l'impact des étiquettes d'environnement bruitées. Nous démontrons, à la fois expérimentalement et théoriquement, que l'ELS améliore la stabilité d'entraînement, la convergence locale et la robustesse face aux étiquettes d'environnement bruitées. En intégrant l'ELS aux méthodes DAT, nous parvenons à obtenir des résultats de pointe sur une large gamme de tâches de généralisation ou d'adaptation de domaine, en particulier lorsque les étiquettes d'environnement sont fortement bruitées.