HyperAIHyperAI

Command Palette

Search for a command to run...

IS-DARTS : Stabiliser DARTS grâce à une mesure précise de l'importance des candidats

Hongyi He Longjun Liu Haonan Zhang Nanning Zheng

Résumé

Parmi les méthodes existantes de recherche d'architecture neuronale (Neural Architecture Search, NAS), DARTS est connu pour son efficacité et sa simplicité. Cette approche applique une relaxation continue de la représentation du réseau afin de construire un supernet partageant les poids, permettant ainsi d’identifier des sous-réseaux performants en quelques jours seulement de calcul sur GPU. Toutefois, le phénomène de dégradation des performances dans DARTS conduit à des architectures dégradées composées principalement d’opérations sans paramètres, constituant un défi majeur pour la robustesse du processus. Pour résoudre ce problème, nous montrons, par une analyse théorique et expérimentale, que la cause fondamentale réside dans une estimation biaisée de l’importance des candidats dans l’espace de recherche, et proposons une sélection plus précise des opérations basée sur des mesures d’information. Par ailleurs, nous démontrons que l’attention excessive portée au supernet et l’utilisation inefficace des données dans l’optimisation bi-niveaux contribuent également aux résultats sous-optimaux. Nous adoptons alors un objectif plus réaliste, centré sur la performance des sous-réseaux, et le simplifions grâce à des mesures d’information. Enfin, nous fournissons une justification théorique du besoin de réduire progressivement la largeur du supernet, ce qui permet de diminuer l’erreur d’approximation des poids optimaux dans DARTS. La méthode proposée, nommée IS-DARTS, améliore de manière globale DARTS et résout les problèmes mentionnés ci-dessus. Des expériences étendues sur NAS-Bench-201 et sur l’espace de recherche basé sur DARTS démontrent l’efficacité de IS-DARTS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp