HyperAIHyperAI

Command Palette

Search for a command to run...

iDARTS : Amélioration de DARTS grâce à la normalisation des nœuds et à la discrétisation décorrélée

Huiqun Wang Ruijie Yang Di Huang Yunhong Wang

Résumé

La recherche d'architectures différentiables (DARTS) utilise une relaxation continue de la représentation du réseau et accélère considérablement la recherche d'architectures neuronales (NAS) d'environ mille fois en unités GPU-jour. Toutefois, le processus de recherche de DARTS s'avère instable, souffrant d'une dégradation sévère lorsque le nombre d'époques d'entraînement augmente, ce qui limite son application pratique. Dans cet article, nous affirmons que ce problème de dégradation est dû à un déséquilibre des normes entre différents nœuds ainsi qu'à des sorties fortement corrélées issues de diverses opérations. Nous proposons alors une version améliorée de DARTS, nommée iDARTS, pour traiter ces deux problèmes. Pendant la phase d'entraînement, iDARTS introduit une normalisation des nœuds afin de préserver l'équilibre des normes. Lors de la phase de discrétisation, l'architecture continue est approximée en se basant sur la similarité entre les sorties des nœuds et les opérations décorrélées, plutôt que sur les valeurs des paramètres d'architecture. Des évaluations étendues ont été menées sur CIFAR-10 et ImageNet, rapportant des taux d'erreur respectifs de 2,25 % et 24,7 % en seulement 0,2 et 1,9 unités GPU-jour pour la recherche d'architecture, démontrant ainsi son efficacité. Une analyse complémentaire révèle également que iDARTS présente un avantage en robustesse et en généralisation par rapport aux variantes basées sur DARTS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp