HyperAIHyperAI

Command Palette

Search for a command to run...

FairNAS : Réexaminer l'équité de l'évaluation des recherches d'architecture neuronale avec partage de poids

Xiangxiang Chu; Bo Zhang; Ruijun Xu

Résumé

L'un des problèmes les plus critiques dans la recherche d'architecture neuronale avec partage de poids est l'évaluation des modèles candidats au sein d'un espace de recherche prédéfini. En pratique, un supernet à une seule passe (one-shot supernet) est formé pour servir d'évaluateur. Un classement fidèle conduit certainement à des résultats de recherche plus précis. Cependant, les méthodes actuelles sont sujettes à des erreurs de jugement. Dans cet article, nous démontrons que leur évaluation biaisée est due à une injustice inhérente lors de la formation du supernet. À cet égard, nous proposons deux niveaux de contraintes : l'équité en espérance et l'équité stricte. Plus particulièrement, l'équité stricte garantit des opportunités d'optimisation égales pour tous les blocs de choix tout au long de la formation, évitant ainsi leur surestimation ou sous-estimation. Nous montrons que cela est crucial pour améliorer la confiance dans le classement des modèles. En intégrant le supernet à une seule passe formé sous les contraintes d'équité proposées avec un algorithme de recherche évolutionnaire multi-objectifs, nous obtenons divers modèles de pointe, par exemple, FairNAS-A atteint une précision de validation top-1 de 77,5 % sur ImageNet. Les modèles et leurs codes d'évaluation sont rendus publiquement disponibles en ligne : http://github.com/fairnas/FairNAS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
FairNAS : Réexaminer l'équité de l'évaluation des recherches d'architecture neuronale avec partage de poids | Articles | HyperAI