HyperAIHyperAI

Command Palette

Search for a command to run...

Un regard plus attentif sur la régularité dans l'entraînement adversarial par domaine

Harsh Rangwani Sumukh K Aithal Mayank Mishra Arihant Jain R. Venkatesh Babu

Résumé

L’entraînement adversaire de domaine est devenu omniprésent pour obtenir des représentations invariantes et est largement utilisé dans diverses tâches d’adaptation de domaine. Récemment, des méthodes convergeant vers des optima lisses ont montré une meilleure généralisation dans des tâches d’apprentissage supervisé telles que la classification. Dans ce travail, nous analysons l’effet des formulations renforçant la régularité (smoothness) sur l’entraînement adversaire de domaine, dont l’objectif est une combinaison de la perte de tâche (par exemple classification, régression, etc.) et de termes adversaires. Nous constatons que la convergence vers un minimum lisse par rapport à la perte de tâche stabilise l’entraînement adversaire, conduisant à de meilleures performances sur le domaine cible. En revanche, contrairement à la perte de tâche, notre analyse montre que la convergence vers un minimum lisse par rapport à la perte adversaire entraîne une généralisation sous-optimale sur le domaine cible. À partir de cette analyse, nous proposons une procédure appelée Smooth Domain Adversarial Training (SDAT), qui améliore efficacement les performances des méthodes existantes d’entraînement adversaire de domaine, tant pour les tâches de classification que pour celles de détection d’objets. Notre analyse fournit également une compréhension des raisons expliquant l’usage intensif de SGD plutôt que d’Adam dans la communauté pour l’entraînement adversaire de domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp