HyperAIHyperAI

Command Palette

Search for a command to run...

Bonsai-Net : Recherche d'architecture neuronale à un seul échantillon via des pruneurs différentiables

Rob Geada Dennis Prangle Andrew Stephen McGough

Résumé

La recherche d'architecture neuronale à une seule tentative (one-shot Neural Architecture Search, NAS) vise à réduire les coûts computationnels liés à la découverte de modèles de pointe. Toutefois, au cours de la dernière année, une attention croissante s'est portée sur les performances comparables de la recherche aléatoire naïve dans les mêmes espaces de recherche utilisés par les algorithmes de NAS les plus avancés. Pour répondre à ce défi, nous étudions les effets d'une relaxation drastique de l'espace de recherche NAS, et présentons Bonsai-Net, une méthode efficace de NAS à une seule tentative conçue pour explorer cet espace de recherche relâché. Bonsai-Net repose sur un pruner différentiel modifié et parvient de manière cohérente à découvrir des architectures de pointe, nettement supérieures à celles obtenues par recherche aléatoire, tout en utilisant moins de paramètres que d'autres méthodes de pointe. En outre, Bonsai-Net effectue simultanément la recherche d'architecture et l'entraînement du modèle, réduisant ainsi de façon marquée le temps total nécessaire pour générer des modèles entièrement entraînés à partir de zéro.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp