sharpDARTS : Une Recherche de Structure Différentiable Plus Rapide et Plus Précise

La recherche de l'architecture neuronale (Neural Architecture Search, NAS) a été à l'origine d'améliorations spectaculaires dans la conception des réseaux neuronaux, avec des résultats récents égalant ou surpassant les performances des architectures ajustées manuellement. Cependant, notre compréhension de la manière de représenter l'espace de recherche pour les architectures de réseaux neuronaux et de la façon d'explorer cet espace efficacement est encore dans son enfance.Nous avons effectué une analyse approfondie pour identifier les limites d'un espace de recherche largement utilisé et d'une méthode récente de recherche d'architecture, la Differentiable Architecture Search (DARTS). Ces découvertes nous ont conduits à introduire des blocs réseau novateurs avec un design plus général, équilibré et cohérent ; un programme d'apprentissage du taux d'apprentissage Cosine Power Annealing mieux optimisé ; ainsi que d'autres améliorations. Notre recherche sharpDARTS est 50% plus rapide avec une amélioration relative de 20-30% de l'erreur du modèle final sur CIFAR-10 par rapport à DARTS. Notre meilleur modèle unique a obtenu une erreur de validation de 1,93% (1,98±0,07) sur CIFAR-10 et une erreur de 5,5% (5,8±0,3) sur le jeu de tests CIFAR-10.1 récemment publié. À notre connaissance, ces deux résultats sont à l'état de l'art pour des modèles de taille similaire. Ce modèle se généralise également compétitivement à ImageNet avec une erreur top-1 de 25,1% (et une erreur top-5 de 7,8%).Nous avons trouvé des améliorations pour les espaces de recherche existants, mais DARTS se généralise-t-il aux nouveaux domaines ? Nous proposons la Differentiable Hyperparameter Grid Search et l'espace de recherche HyperCuboid, qui sont des représentations conçues pour exploiter DARTS pour une optimisation plus générale des paramètres. Ici, nous constatons que DARTS échoue à se généraliser lorsqu'il est comparé au choix en une seule fois d'un humain parmi les modèles. Nous revenons aux espaces de recherche DARTS et sharpDARTS pour comprendre pourquoi, et une étude par désactivation révèle un écart inhabituel de généralisation. Nous proposons finalement la régularisation Max-W pour résoudre ce problème, qui s'avère significativement meilleure que la conception manuelle. Le code sera rendu disponible.