IS-DARTS : Stabiliser DARTS grâce à une mesure précise de l'importance des candidats

Parmi les méthodes existantes de recherche d'architecture neuronale (Neural Architecture Search, NAS), DARTS est connu pour son efficacité et sa simplicité. Cette approche applique une relaxation continue de la représentation du réseau afin de construire un supernet partageant les poids, permettant ainsi d’identifier des sous-réseaux performants en quelques jours seulement de calcul sur GPU. Toutefois, le phénomène de dégradation des performances dans DARTS conduit à des architectures dégradées composées principalement d’opérations sans paramètres, constituant un défi majeur pour la robustesse du processus. Pour résoudre ce problème, nous montrons, par une analyse théorique et expérimentale, que la cause fondamentale réside dans une estimation biaisée de l’importance des candidats dans l’espace de recherche, et proposons une sélection plus précise des opérations basée sur des mesures d’information. Par ailleurs, nous démontrons que l’attention excessive portée au supernet et l’utilisation inefficace des données dans l’optimisation bi-niveaux contribuent également aux résultats sous-optimaux. Nous adoptons alors un objectif plus réaliste, centré sur la performance des sous-réseaux, et le simplifions grâce à des mesures d’information. Enfin, nous fournissons une justification théorique du besoin de réduire progressivement la largeur du supernet, ce qui permet de diminuer l’erreur d’approximation des poids optimaux dans DARTS. La méthode proposée, nommée IS-DARTS, améliore de manière globale DARTS et résout les problèmes mentionnés ci-dessus. Des expériences étendues sur NAS-Bench-201 et sur l’espace de recherche basé sur DARTS démontrent l’efficacité de IS-DARTS.