HyperAIHyperAI

Command Palette

Search for a command to run...

Pénalité de gradient vue du point de vue de la marge maximale

Alexia Jolicoeur-Martineau Ioannis Mitliagkas

Résumé

Une heuristique couramment utilisée pour améliorer les performances des réseaux antagonistes génératifs (GANs) consiste à appliquer une pénalité sur le gradient au niveau du discriminateur. Cette pénalité sur le gradient a initialement été motivée par une formulation basée sur la distance de Wasserstein. Toutefois, son utilisation dans d'autres formulations de GANs n'est pas bien justifiée. Nous proposons un cadre unificateur fondé sur la maximisation de la marge attendue, et montrons que diverses variantes de GANs pénalisées par le gradient (par exemple, Wasserstein, Standard, Least-Squares et Hinge GANs) peuvent toutes être dérivées de ce cadre. Nos résultats impliquent que l'application de pénalités sur le gradient conduit à un classificateur à grande marge (et donc à un discriminateur à grande marge dans les GANs). Nous expliquons comment la maximisation de la marge attendue contribue à réduire le phénomène de gradients disparus aux échantillons faux (générés), un problème bien connu dans les GANs. À partir de ce cadre, nous dérivons une nouvelle pénalité sur la norme du gradient LL^\inftyL combinée à une perte Hinge, qui produit généralement des résultats de génération équivalents (ou supérieurs) à ceux obtenus avec des pénalités de norme L2L^2L2 (selon la distance de Fréchet Inception).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp