PC-DARTS : Connexions de Canaux Partiels pour une Recherche d'Architecture Économisant la Mémoire

La recherche d'architecture différentiable (DARTS) a fourni une solution rapide pour trouver des architectures de réseau efficaces, mais elle souffrait d'un coût mémoire et de calcul important lors de l'entraînement conjoint d'un super-réseau et de la recherche d'une architecture optimale. Dans cet article, nous présentons une nouvelle approche, appelée DARTS Partiellement Connecté (Partially-Connected DARTS), en échantillonnant une petite partie du super-réseau pour réduire la redondance dans l'exploration de l'espace de réseau, permettant ainsi une recherche plus efficace sans compromettre les performances. Plus précisément, nous effectuons la recherche d'opérations sur un sous-ensemble de canaux tout en ignorant la partie mise de côté dans un raccourci. Cette stratégie peut souffrir d'une incohérence indésirable dans le choix des arêtes du super-réseau due à l'échantillonnage de différents canaux. Nous atténuons ce problème en utilisant la normalisation des arêtes, qui ajoute un nouveau ensemble de paramètres au niveau des arêtes pour réduire l'incertitude lors de la recherche. Grâce au coût mémoire réduit, PC-DARTS peut être entraîné avec un plus grand volume d'exemples par lot (batch size) et bénéficie donc à la fois d'une vitesse plus rapide et d'une stabilité d'entraînement supérieure. Les résultats expérimentaux démontrent l'efficacité de notre méthode proposée. Plus particulièrement, nous obtenons un taux d'erreur de 2,57% sur CIFAR10 avec seulement 0,1 jour-GPU pour la recherche d'architecture, et un taux d'erreur top-1 record de 24,2% sur ImageNet (dans le cadre mobile) en utilisant 3,8 jours-GPU pour la recherche. Notre code est disponible à l'adresse suivante : https://github.com/yuhuixu1993/PC-DARTS.