Un regard plus attentif sur la régularité dans l'entraînement adversarial par domaine

L’entraînement adversaire de domaine est devenu omniprésent pour obtenir des représentations invariantes et est largement utilisé dans diverses tâches d’adaptation de domaine. Récemment, des méthodes convergeant vers des optima lisses ont montré une meilleure généralisation dans des tâches d’apprentissage supervisé telles que la classification. Dans ce travail, nous analysons l’effet des formulations renforçant la régularité (smoothness) sur l’entraînement adversaire de domaine, dont l’objectif est une combinaison de la perte de tâche (par exemple classification, régression, etc.) et de termes adversaires. Nous constatons que la convergence vers un minimum lisse par rapport à la perte de tâche stabilise l’entraînement adversaire, conduisant à de meilleures performances sur le domaine cible. En revanche, contrairement à la perte de tâche, notre analyse montre que la convergence vers un minimum lisse par rapport à la perte adversaire entraîne une généralisation sous-optimale sur le domaine cible. À partir de cette analyse, nous proposons une procédure appelée Smooth Domain Adversarial Training (SDAT), qui améliore efficacement les performances des méthodes existantes d’entraînement adversaire de domaine, tant pour les tâches de classification que pour celles de détection d’objets. Notre analyse fournit également une compréhension des raisons expliquant l’usage intensif de SGD plutôt que d’Adam dans la communauté pour l’entraînement adversaire de domaine.