HyperAIHyperAI

Command Palette

Search for a command to run...

PRE-NAS : Recherche d'architecture neuronale évolutionnaire assistée par prédicteur

Yameng Peng Andy Song Vic Ciesielski Haytham M. Fayek Xiaojun Chang

Résumé

La recherche d'architecture neuronale (NAS) vise à automatiser l'ingénierie des architectures de réseaux de neurones. Cela nécessite souvent un coût computationnel élevé pour évaluer un grand nombre de réseaux candidats parmi l'ensemble des architectures possibles dans l'espace de recherche. La prédiction de la performance de ces réseaux peut atténuer ce coût computationnel élevé en réduisant la nécessité d'évaluer chaque candidat. Toutefois, le développement d'un tel prédicteur exige généralement un grand nombre d'architectures déjà évaluées, ce qui peut s'avérer difficile à obtenir. Nous abordons ce défi en proposant une nouvelle stratégie de NAS basée sur l'évolution, appelée PRE-NAS (Predictor-assisted E-NAS), qui parvient à de bons résultats même avec un nombre extrêmement réduit d'architectures évaluées. Le PRE-NAS exploite de nouvelles stratégies de recherche évolutionnaire et intègre une héritage de poids de haute fidélité au fil des générations. Contrairement aux approches one-shot, qui peuvent souffrir d'un biais d'évaluation dû au partage de poids, les candidats descendants dans le PRE-NAS sont topologiquement homogènes, ce qui permet d'éviter ce biais et conduit à des prédictions plus précises. Des expériences étendues sur les espaces de recherche NAS-Bench-201 et DARTS montrent que le PRE-NAS surpasse les méthodes d'état de l'art en NAS. Avec une seule carte GPU utilisée pendant seulement 0,6 jour, une architecture compétitive peut être trouvée, atteignant des taux d'erreur de test respectivement de 2,40 % sur CIFAR-10 et de 24 % sur ImageNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp