Lorsque le NAS rencontre les arbres : un algorithme efficace pour la recherche d'architecture neuronale

Le défi majeur du recherche d'architecture neuronale (NAS) réside dans la conception d'une stratégie d'exploration intelligente au sein d'un espace de recherche très vaste. Nous proposons une nouvelle méthode de NAS appelée TNAS (NAS avec arbres), qui améliore l'efficacité de la recherche en n'explorant qu'un petit nombre d'architectures tout en atteignant une précision de recherche supérieure. TNAS introduit un arbre d'architecture et un arbre d'opérations binaires, permettant de factoriser l'espace de recherche et de réduire considérablement sa taille. La méthode effectue une recherche en largeur modifiée à deux niveaux dans les arbres proposés afin de découvrir une architecture à haute performance. De manière remarquable, TNAS identifie l'architecture optimale globale sur CIFAR-10 avec une précision de test de 94,37 % en seulement quatre heures de calcul sur GPU dans le cadre de NAS-Bench-201. La précision moyenne de test atteint 94,35 %, surpassant ainsi les meilleures méthodes actuelles. Le code est disponible à l'adresse suivante : \url{https://github.com/guochengqian/TNAS}.