ProxylessNAS : Recherche directe d'architecture de réseau neuronal sur la tâche et le matériel cibles

La recherche d'architecture neuronale (NAS) a un impact considérable en concevant automatiquement des architectures de réseaux neuronaux efficaces. Cependant, la demande computationnelle excessive des algorithmes NAS conventionnels (par exemple, 10 000 heures de GPU) rend difficile la recherche \emph{directe} d'architectures pour des tâches à grande échelle (par exemple, ImageNet). La NAS différentiable peut réduire le coût en heures de GPU grâce à une représentation continue de l'architecture du réseau, mais elle souffre du problème de consommation élevée de mémoire GPU (qui augmente linéairement par rapport à la taille de l'ensemble de candidats). Par conséquent, ces méthodes doivent utiliser des tâches \emph{intermédiaires}, telles que l'entraînement sur un ensemble de données plus petit, l'apprentissage avec seulement quelques blocs ou l'entraînement pour seulement quelques époques. Les architectures optimisées sur ces tâches intermédiaires ne sont pas nécessairement optimales pour la tâche cible.Dans cet article, nous présentons \emph{ProxylessNAS}, qui peut \emph{directement} apprendre les architectures pour des tâches cibles à grande échelle et des plateformes matérielles cibles. Nous abordons le problème de consommation élevée de mémoire dans la NAS différentiable et réduisons le coût computationnel (en heures de GPU et en mémoire GPU) au même niveau qu'un entraînement régulier tout en permettant un grand ensemble de candidats. Les expériences menées sur CIFAR-10 et ImageNet démontrent l'efficacité de la directivité et de la spécialisation. Sur CIFAR-10, notre modèle atteint une erreur de test de 2,08\% avec seulement 5,7 millions de paramètres, surpassant ainsi l'architecture précédente AmoebaNet-B tout en utilisant 6 fois moins de paramètres. Sur ImageNet, notre modèle obtient une précision top-1 supérieure à celle de MobileNetV2 de 3,1\%, tout en étant 1,2 fois plus rapide selon les mesures latence GPU. Nous appliquons également ProxylessNAS pour spécialiser les architectures neuronales pour le matériel en utilisant des métriques matérielles directes (par exemple, latence) et fournissons des pistes pour la conception efficace d'architectures CNN.