Une méthode générique d'encodage architecturale neuronale basée sur les graphes pour la NAS orientée prédicteur

Ce travail propose un nouveau schéma d’encodage d’architectures neuronales basé sur les graphes, dénommé GATES (Graph-based neural ArchiTecture Encoding Scheme), afin d’améliorer la recherche d’architectures neuronales (NAS) fondée sur des prédicteurs. Plus précisément, contrairement aux approches existantes basées sur les graphes, GATES modélise les opérations comme des transformations de l’information en propagation, ce qui reflète fidèlement le traitement réel des données au sein des architectures neuronales. Cette approche constitue une modélisation plus raisonnable des architectures neuronales et permet d’encoder des architectures de manière cohérente à partir à la fois des espaces de recherche de cellules « opération sur nœud » et « opération sur arête ». Les résultats expérimentaux obtenus sur divers espaces de recherche confirment l’efficacité de GATES dans l’amélioration de la performance du prédicteur. En outre, en combinant GATES avec un prédicteur amélioré, l’efficacité en échantillonnage du flux de recherche d’architectures neuronales fondé sur les prédicteurs (NAS) est significativement augmentée. Le code source est disponible à l’adresse suivante : https://github.com/walkerning/aw_nas.