L'apprentissage non supervisé de représentations architecturales aide-t-il la recherche d'architectures neuronales ?

Les méthodes existantes de recherche d'architecture neuronale (NAS) utilisent soit des encodages discrets, qui ne se généralisent pas bien, soit des approches basées sur l'apprentissage supervisé afin d'apprendre conjointement des représentations d'architecture et d'optimiser la recherche d'architecture à partir de ces représentations, ce qui introduit un biais de recherche. Malgré leur utilisation répandue, les représentations d'architecture apprises dans le cadre de la NAS restent encore mal comprises. Nous observons qu'il est difficile de préserver les propriétés structurelles des architectures neuronales dans l'espace latent lorsque l'apprentissage des représentations et la recherche sont couplés, ce qui conduit à une performance de recherche moins efficace. Dans ce travail, nous constatons empiriquement que le pré-entraînement des représentations d'architecture en utilisant uniquement des architectures neuronales, sans utiliser leurs précisions comme étiquettes, améliore considérablement l'efficacité de la recherche d'architecture en amont. Pour expliquer ces observations, nous visualisons comment l'apprentissage non supervisé des représentations d'architecture favorise davantage le regroupement des architectures neuronales présentant des connexions et des opérateurs similaires. Cela permet de cartographier les architectures neuronales ayant des performances similaires vers des régions proches dans l'espace latent, et rend les transitions entre architectures dans cet espace relativement fluides, ce qui bénéficie fortement à diverses stratégies de recherche en aval.