GreenMachine : Conception automatique de proxies à coût nul pour un NAS économe en énergie

L'intelligence artificielle (IA) a stimulé des innovations et créé de nouvelles opportunités dans divers secteurs. Cependant, l'exploitation des connaissances spécifiques à un domaine nécessite souvent des outils automatisés pour concevoir et configurer les modèles efficacement. Dans le cas des réseaux neuronaux profonds (DNNs), les chercheurs et les praticiens ont généralement recours aux approches de recherche d'architecture neuronale (NAS), qui sont intensives en ressources et en temps, nécessitant la formation et l'évaluation de nombreuses architectures candidates. Ceci soulève des préoccupations en matière de durabilité, notamment en raison des importantes exigences énergétiques associées, créant une paradoxe : la quête du modèle le plus efficace peut compromettre les objectifs de durabilité. Pour atténuer ce problème, les estimateurs à coût nul ont émergé comme une alternative prometteuse. Ces estimateurs évaluent les performances d'un modèle sans nécessiter une formation complète, offrant ainsi une approche plus efficace. Ce document aborde les défis de l'évaluation des modèles en concevant automatiquement des estimateurs à coût nul pour évaluer les DNNs de manière efficiente. Notre méthode commence par un ensemble d'estimateurs à coût nul généré aléatoirement, qui sont ensuite évolués et testés à l'aide du benchmark NATS-Bench. Nous évaluons l'efficacité des estimateurs à l'aide de sous-ensembles aléatoires et stratifiés de l'espace de recherche, garantissant leur capacité à distinguer entre les réseaux performants et peu performants et à améliorer leur généralisation. Les résultats montrent que notre méthode surpasse les approches existantes avec la stratégie d'échantillonnage stratifié, atteignant des corrélations solides avec les performances réelles, y compris une corrélation de Kendall de 0,89 sur CIFAR-10 et 0,77 sur CIFAR-100 avec NATS-Bench-SSS, ainsi qu'une corrélation de Kendall de 0,78 sur CIFAR-10 et 0,71 sur CIFAR-100 avec NATS-Bench-TSS.