Efficacité de la NAS zéro-shot basée sur la prédiction neuronale

Dans le cadre de la recherche d'architectures neuronales (NAS) basée sur la prédiction, les indicateurs de performance issus des réseaux de convolution sur graphes ont démontré un succès remarquable. Ces indicateurs, obtenus en représentant les structures feed-forward sous forme de graphes composants via un encodage one-hot, souffrent d'une limitation majeure : leur incapacité à évaluer la performance des architectures dans des espaces de recherche variés. À l'inverse, les indicateurs de performance conçus manuellement (zero-shot NAS), qui utilisent la même architecture avec une initialisation aléatoire, présentent une capacité de généralisation à travers plusieurs espaces de recherche. Pour pallier cette limitation, nous proposons une nouvelle approche pour la NAS zero-shot fondée sur l'apprentissage profond. Notre méthode utilise un encodage par somme de sinus de Fourier pour les noyaux de convolution, permettant ainsi de construire un graphe computationnel feed-forward dont la structure ressemble étroitement à celle de l'architecture évaluée. Ces encodages sont apprenables et offrent une vue exhaustive des informations topologiques de l'architecture. Un réseau de perceptrons multicouches (MLP) associé classe alors les architectures en fonction de leurs encodages. Les résultats expérimentaux montrent que notre approche surpasse les méthodes précédentes utilisant des réseaux de convolution sur graphes en termes de corrélation sur le jeu de données NAS-Bench-201, tout en présentant un taux de convergence plus élevé. En outre, la représentation de caractéristiques extraite sur chaque benchmark NAS est transférable à d'autres benchmarks NAS, démontrant ainsi une généralisation prometteuse à travers plusieurs espaces de recherche. Le code est disponible à l'adresse suivante : https://github.com/minh1409/DFT-NPZS-NAS