Apprendre où regarder — La NAS générative est étonnamment efficace

La recherche efficace et automatisée d'architectures neuronales performantes (NAS) a suscité un intérêt croissant ces dernières années. L'objectif principal de la recherche actuelle consiste à réduire la nécessité d'évaluations coûteuses d'architectures neuronales tout en explorant efficacement de vastes espaces de recherche. À cette fin, les modèles surrogates plongent les architectures dans un espace latente et prédisent leur performance, tandis que les modèles générateurs d'architectures neuronales permettent une recherche fondée sur l'optimisation dans l'espace latente d'où le générateur tire ses échantillons. À la fois les modèles surrogates et les modèles générateurs visent à faciliter une recherche efficace en termes de requêtes au sein d'un espace latente bien structuré. Dans cet article, nous améliorons davantage l'équilibre entre efficacité en termes de requêtes et génération d'architectures prometteuses en tirant parti des avantages des modèles surrogates efficaces et de la conception générative. Pour ce faire, nous proposons un modèle générateur associé à un prédicteur surrogate, qui apprend itérativement à générer des échantillons à partir de sous-espaces latents de plus en plus prometteurs. Cette approche conduit à une recherche d'architectures particulièrement efficace et performante, tout en maintenant un faible nombre de requêtes. En outre, notre méthode permet de manière naturelle d'optimiser simultanément plusieurs objectifs, tels que la précision et la latence matérielle. Nous démontrons l'efficacité de cette approche non seulement en matière d'optimisation d'architectures pour une classification précise maximale, mais également dans un contexte de contraintes matérielles, surpassant les méthodes de pointe sur plusieurs benchmarks NAS, tant pour des objectifs uniques que multiples. Nous atteignons également des performances de pointe sur ImageNet. Le code est disponible à l'adresse http://github.com/jovitalukasik/AG-Net.