HyperAIHyperAI
il y a 17 jours

Recherche d'architecture différentiable avec fonctions aléatoires

Xuanyang Zhang, Yonggang Li, Xiangyu Zhang, Yongtao Wang, Jian Sun
Recherche d'architecture différentiable avec fonctions aléatoires
Résumé

La recherche d'architecture différentiable (DARTS) a considérablement stimulé le développement des techniques de NAS grâce à son efficacité et son efficacité élevées, mais elle souffre d'un phénomène de dégradation des performances. Dans cet article, nous nous efforçons de atténuer ce problème de dégradation des performances de DARTS sous deux angles. Premièrement, nous analysons la capacité d'expression du supernet dans DARTS, puis proposons une nouvelle configuration du paradigme DARTS ne nécessitant l'entraînement que des couches BatchNorm. Deuxièmement, nous démontrons théoriquement que les caractéristiques aléatoires diluent le rôle de connexion auxiliaire de la connexion skip dans l'optimisation du supernet, permettant à l'algorithme de recherche de se concentrer sur un choix d'opérations plus équitable, ce qui résout ainsi le problème de dégradation des performances. Nous instancions DARTS et PC-DARTS avec des caractéristiques aléatoires pour obtenir deux versions améliorées respectivement nommées RF-DARTS et RF-PC-DARTS. Les résultats expérimentaux montrent que RF-DARTS atteint une précision de test de \textbf{94,36\%} sur CIFAR-10 (le résultat optimal le plus proche dans NAS-Bench-201), et réalise un nouveau record d'état de l'art avec une erreur de test top-1 de \textbf{24,0\%} sur ImageNet lors d'une transfert depuis CIFAR-10. En outre, RF-DARTS se montre robuste sur trois jeux de données (CIFAR-10, CIFAR-100 et SVHN) et quatre espaces de recherche (S1-S4). Par ailleurs, RF-PC-DARTS obtient des résultats encore meilleurs sur ImageNet, avec une erreur top-1 de \textbf{23,9\%} et une erreur top-5 de \textbf{7,1\%}, surpassant directement des méthodes représentatives telles que les approches à chemin unique, sans entraînement préalable et à canaux partiels, directement recherchées sur ImageNet.

Recherche d'architecture différentiable avec fonctions aléatoires | Articles de recherche récents | HyperAI