HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche d'architecture différentiable avec fonctions aléatoires

Xuanyang Zhang Yonggang Li Xiangyu Zhang Yongtao Wang Jian Sun

Résumé

La recherche d'architecture différentiable (DARTS) a considérablement stimulé le développement des techniques de NAS grâce à son efficacité et son efficacité élevées, mais elle souffre d'un phénomène de dégradation des performances. Dans cet article, nous nous efforçons de atténuer ce problème de dégradation des performances de DARTS sous deux angles. Premièrement, nous analysons la capacité d'expression du supernet dans DARTS, puis proposons une nouvelle configuration du paradigme DARTS ne nécessitant l'entraînement que des couches BatchNorm. Deuxièmement, nous démontrons théoriquement que les caractéristiques aléatoires diluent le rôle de connexion auxiliaire de la connexion skip dans l'optimisation du supernet, permettant à l'algorithme de recherche de se concentrer sur un choix d'opérations plus équitable, ce qui résout ainsi le problème de dégradation des performances. Nous instancions DARTS et PC-DARTS avec des caractéristiques aléatoires pour obtenir deux versions améliorées respectivement nommées RF-DARTS et RF-PC-DARTS. Les résultats expérimentaux montrent que RF-DARTS atteint une précision de test de \textbf{94,36%} sur CIFAR-10 (le résultat optimal le plus proche dans NAS-Bench-201), et réalise un nouveau record d'état de l'art avec une erreur de test top-1 de \textbf{24,0%} sur ImageNet lors d'une transfert depuis CIFAR-10. En outre, RF-DARTS se montre robuste sur trois jeux de données (CIFAR-10, CIFAR-100 et SVHN) et quatre espaces de recherche (S1-S4). Par ailleurs, RF-PC-DARTS obtient des résultats encore meilleurs sur ImageNet, avec une erreur top-1 de \textbf{23,9%} et une erreur top-5 de \textbf{7,1%}, surpassant directement des méthodes représentatives telles que les approches à chemin unique, sans entraînement préalable et à canaux partiels, directement recherchées sur ImageNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp