HyperAIHyperAI

Command Palette

Search for a command to run...

PC-DARTS : Connexions de Canaux Partiels pour une Recherche d'Architecture Économisant la Mémoire

Yuhui Xu Lingxi Xie Xiaopeng Zhang Xin Chen Guo-Jun Qi Qi Tian Hongkai Xiong

Résumé

La recherche d'architecture différentiable (DARTS) a fourni une solution rapide pour trouver des architectures de réseau efficaces, mais elle souffrait d'un coût mémoire et de calcul important lors de l'entraînement conjoint d'un super-réseau et de la recherche d'une architecture optimale. Dans cet article, nous présentons une nouvelle approche, appelée DARTS Partiellement Connecté (Partially-Connected DARTS), en échantillonnant une petite partie du super-réseau pour réduire la redondance dans l'exploration de l'espace de réseau, permettant ainsi une recherche plus efficace sans compromettre les performances. Plus précisément, nous effectuons la recherche d'opérations sur un sous-ensemble de canaux tout en ignorant la partie mise de côté dans un raccourci. Cette stratégie peut souffrir d'une incohérence indésirable dans le choix des arêtes du super-réseau due à l'échantillonnage de différents canaux. Nous atténuons ce problème en utilisant la normalisation des arêtes, qui ajoute un nouveau ensemble de paramètres au niveau des arêtes pour réduire l'incertitude lors de la recherche. Grâce au coût mémoire réduit, PC-DARTS peut être entraîné avec un plus grand volume d'exemples par lot (batch size) et bénéficie donc à la fois d'une vitesse plus rapide et d'une stabilité d'entraînement supérieure. Les résultats expérimentaux démontrent l'efficacité de notre méthode proposée. Plus particulièrement, nous obtenons un taux d'erreur de 2,57% sur CIFAR10 avec seulement 0,1 jour-GPU pour la recherche d'architecture, et un taux d'erreur top-1 record de 24,2% sur ImageNet (dans le cadre mobile) en utilisant 3,8 jours-GPU pour la recherche. Notre code est disponible à l'adresse suivante : https://github.com/yuhuixu1993/PC-DARTS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp