HyperAIHyperAI

Command Palette

Search for a command to run...

SWAD : Généralisation de domaine par recherche de minima plats

Junbum Cha Sanghyuk Chun Kyungjae Lee Han-Cheol Cho Seunghyun Park Yunsung Lee Sungrae Park

Résumé

Les méthodes de généralisation domaine-général (DG) visent à atteindre une bonne généralisation sur un domaine cible inconnu à l’aide uniquement de données d’entraînement provenant de domaines sources. Bien qu’un grand nombre de méthodes DG aient été proposées, une étude récente montre qu’au sein d’un protocole d’évaluation équitable, appelé DomainBed, l’approche simple de minimisation de risque empirique (ERM) se compare favorablement, voire surpasser, les méthodes antérieures. Malheureusement, la résolution directe de l’ERM sur une fonction de perte complexe et non convexe peut facilement conduire à une généralisation sous-optimale, en cherchant des minima aigus. Dans ce travail, nous montrons théoriquement que la recherche de minima plats permet de réduire l’écart de généralisation entre domaines. Nous proposons également une méthode simple mais efficace, nommée Stochastic Weight Averaging Densely (SWAD), pour identifier de tels minima plats. SWAD trouve des minima plus plats et souffre moins du surapprentissage que l’approche SWA classique, grâce à une stratégie de prise d’échantillons aléatoires des poids dense et sensible au surapprentissage. SWAD atteint des performances de pointe sur cinq benchmarks DG, à savoir PACS, VLCS, OfficeHome, TerraIncognita et DomainNet, avec une amélioration moyenne significative de +1,6 % en précision hors-domaine. Nous comparons également SWAD à des méthodes classiques de généralisation, telles que l’augmentation de données et les méthodes de régularisation par consistance, afin de démontrer que les gains de performance remarquables proviennent bien de la recherche de minima plats, et non d’une meilleure généralisation au sein du domaine. Enfin, SWAD est facilement intégrable aux méthodes DG existantes sans modification : l’association de SWAD à une méthode DG préexistante améliore encore davantage les performances en DG. Le code source est disponible à l’adresse suivante : https://github.com/khanrc/swad.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp