Zen-NAS : Une NAS sans exemple pour une reconnaissance d’image profonde à haute performance

Le prédicteur d’exactitude constitue un élément clé dans la recherche d’architecture neuronale (NAS) pour classer les architectures. La construction d’un prédicteur d’exactitude de haute qualité exige généralement des ressources computationnelles considérables. Pour résoudre ce problème, au lieu d’utiliser un prédicteur d’exactitude, nous proposons un nouvel indicateur zéro-shot appelé Zen-Score, destiné à classer les architectures. Le Zen-Score représente l’expressivité du réseau et présente une corrélation positive avec l’exactitude du modèle. Son calcul nécessite uniquement quelques inférences en avant à travers un réseau initialisé aléatoirement, sans entraînement des paramètres du réseau. En s’appuyant sur le Zen-Score, nous proposons également un nouvel algorithme de NAS, nommé Zen-NAS, qui maximise le Zen-Score du réseau cible sous des contraintes données de budget d’inférence. En moins de demi-journée de calcul sur GPU, Zen-NAS est capable de rechercher directement des architectures à haute performance de manière totalement dépourvue de données. Par rapport aux méthodes NAS précédentes, Zen-NAS est plusieurs ordres de grandeur plus rapide sur diverses plates-formes GPU serveur et mobiles, tout en atteignant une précision de pointe sur ImageNet. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/idstcv/ZenNAS.