FairNAS : Réexaminer l'équité de l'évaluation des recherches d'architecture neuronale avec partage de poids

L'un des problèmes les plus critiques dans la recherche d'architecture neuronale avec partage de poids est l'évaluation des modèles candidats au sein d'un espace de recherche prédéfini. En pratique, un supernet à une seule passe (one-shot supernet) est formé pour servir d'évaluateur. Un classement fidèle conduit certainement à des résultats de recherche plus précis. Cependant, les méthodes actuelles sont sujettes à des erreurs de jugement. Dans cet article, nous démontrons que leur évaluation biaisée est due à une injustice inhérente lors de la formation du supernet. À cet égard, nous proposons deux niveaux de contraintes : l'équité en espérance et l'équité stricte. Plus particulièrement, l'équité stricte garantit des opportunités d'optimisation égales pour tous les blocs de choix tout au long de la formation, évitant ainsi leur surestimation ou sous-estimation. Nous montrons que cela est crucial pour améliorer la confiance dans le classement des modèles. En intégrant le supernet à une seule passe formé sous les contraintes d'équité proposées avec un algorithme de recherche évolutionnaire multi-objectifs, nous obtenons divers modèles de pointe, par exemple, FairNAS-A atteint une précision de validation top-1 de 77,5 % sur ImageNet. Les modèles et leurs codes d'évaluation sont rendus publiquement disponibles en ligne : http://github.com/fairnas/FairNAS.