HyperAIHyperAI

Command Palette

Search for a command to run...

ProxylessNAS : Recherche directe d'architecture de réseau neuronal sur la tâche et le matériel cibles

Han Cai Ligeng Zhu Song Han

Résumé

La recherche d'architecture neuronale (NAS) a un impact considérable en concevant automatiquement des architectures de réseaux neuronaux efficaces. Cependant, la demande computationnelle excessive des algorithmes NAS conventionnels (par exemple, 10 000 heures de GPU) rend difficile la recherche \emph{directe} d'architectures pour des tâches à grande échelle (par exemple, ImageNet). La NAS différentiable peut réduire le coût en heures de GPU grâce à une représentation continue de l'architecture du réseau, mais elle souffre du problème de consommation élevée de mémoire GPU (qui augmente linéairement par rapport à la taille de l'ensemble de candidats). Par conséquent, ces méthodes doivent utiliser des tâches \emph{intermédiaires}, telles que l'entraînement sur un ensemble de données plus petit, l'apprentissage avec seulement quelques blocs ou l'entraînement pour seulement quelques époques. Les architectures optimisées sur ces tâches intermédiaires ne sont pas nécessairement optimales pour la tâche cible.Dans cet article, nous présentons \emph{ProxylessNAS}, qui peut \emph{directement} apprendre les architectures pour des tâches cibles à grande échelle et des plateformes matérielles cibles. Nous abordons le problème de consommation élevée de mémoire dans la NAS différentiable et réduisons le coût computationnel (en heures de GPU et en mémoire GPU) au même niveau qu'un entraînement régulier tout en permettant un grand ensemble de candidats. Les expériences menées sur CIFAR-10 et ImageNet démontrent l'efficacité de la directivité et de la spécialisation. Sur CIFAR-10, notre modèle atteint une erreur de test de 2,08% avec seulement 5,7 millions de paramètres, surpassant ainsi l'architecture précédente AmoebaNet-B tout en utilisant 6 fois moins de paramètres. Sur ImageNet, notre modèle obtient une précision top-1 supérieure à celle de MobileNetV2 de 3,1%, tout en étant 1,2 fois plus rapide selon les mesures latence GPU. Nous appliquons également ProxylessNAS pour spécialiser les architectures neuronales pour le matériel en utilisant des métriques matérielles directes (par exemple, latence) et fournissons des pistes pour la conception efficace d'architectures CNN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp