HyperAIHyperAI

Command Palette

Search for a command to run...

Régularisation Globale-Locale par Robustesse Distributionnelle

Hoang Phan Trung Le Trung Phung Tuan Anh Bui Nhat Ho Dinh Phung

Résumé

Malgré leurs performances supérieures dans de nombreuses situations, les réseaux de neurones profonds sont souvent vulnérables aux exemples adverses et aux décalages de distribution, ce qui limite leur capacité de généralisation dans les applications du monde réel. Pour atténuer ces problèmes, les approches récentes exploitent l’optimisation de robustesse distributionnelle (DRO) afin de déterminer la distribution la plus exigeante, puis minimisent la fonction de perte sur cette dernière. Bien qu’elles aient permis certaines améliorations, ces méthodes DRO présentent toutefois des limites évidentes. Premièrement, elles se concentrent exclusivement sur une régularisation locale pour renforcer la robustesse du modèle, négligeant ainsi l’effet de régularisation globale, qui s’avère particulièrement utile dans de nombreuses applications du monde réel (par exemple, adaptation de domaine, généralisation de domaine, apprentissage machine adversaire). Deuxièmement, les fonctions de perte des approches DRO existantes agissent uniquement sur la distribution la plus exigeante, se déconnectant ainsi de la distribution d’origine, ce qui restreint leur capacité de modélisation. Dans cet article, nous proposons une nouvelle technique de régularisation, inspirée du cadre DRO basé sur le transport de Wasserstein. Plus précisément, nous définissons une distribution conjointe particulière ainsi qu’une incertitude basée sur le transport de Wasserstein, permettant de coupler la distribution d’origine et la distribution la plus exigeante afin d’améliorer la capacité de modélisation tout en appliquant à la fois des régularisations locales et globales. Des études expérimentales menées sur divers problèmes d’apprentissage démontrent que notre approche propose une performance significativement supérieure aux méthodes de régularisation existantes dans plusieurs domaines : apprentissage semi-supervisé, adaptation de domaine, généralisation de domaine et apprentissage machine adversaire.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp