Régularisation Globale-Locale par Robustesse Distributionnelle

Malgré leurs performances supérieures dans de nombreuses situations, les réseaux de neurones profonds sont souvent vulnérables aux exemples adverses et aux décalages de distribution, ce qui limite leur capacité de généralisation dans les applications du monde réel. Pour atténuer ces problèmes, les approches récentes exploitent l’optimisation de robustesse distributionnelle (DRO) afin de déterminer la distribution la plus exigeante, puis minimisent la fonction de perte sur cette dernière. Bien qu’elles aient permis certaines améliorations, ces méthodes DRO présentent toutefois des limites évidentes. Premièrement, elles se concentrent exclusivement sur une régularisation locale pour renforcer la robustesse du modèle, négligeant ainsi l’effet de régularisation globale, qui s’avère particulièrement utile dans de nombreuses applications du monde réel (par exemple, adaptation de domaine, généralisation de domaine, apprentissage machine adversaire). Deuxièmement, les fonctions de perte des approches DRO existantes agissent uniquement sur la distribution la plus exigeante, se déconnectant ainsi de la distribution d’origine, ce qui restreint leur capacité de modélisation. Dans cet article, nous proposons une nouvelle technique de régularisation, inspirée du cadre DRO basé sur le transport de Wasserstein. Plus précisément, nous définissons une distribution conjointe particulière ainsi qu’une incertitude basée sur le transport de Wasserstein, permettant de coupler la distribution d’origine et la distribution la plus exigeante afin d’améliorer la capacité de modélisation tout en appliquant à la fois des régularisations locales et globales. Des études expérimentales menées sur divers problèmes d’apprentissage démontrent que notre approche propose une performance significativement supérieure aux méthodes de régularisation existantes dans plusieurs domaines : apprentissage semi-supervisé, adaptation de domaine, généralisation de domaine et apprentissage machine adversaire.