HyperAIHyperAI

Command Palette

Search for a command to run...

βββ-DARTS : Régularisation par désintégration bêta pour la recherche d'architecture différentiable

Peng Ye Baopu Li Yikang Li Tao Chen Jiayuan Fan Wanli Ouyang

Résumé

La recherche d'architecture neuronale (Neural Architecture Search, NAS) a suscité un intérêt croissant ces dernières années en raison de sa capacité à concevoir automatiquement des réseaux de neurones profonds. Parmi les approches proposées, celles basées sur la différentiation, telles que DARTS, ont gagné en popularité grâce à leur efficacité de recherche. Toutefois, elles souffrent de deux principaux défauts : une faible robustesse face à la dégradation de performance (performance collapse) et une médiocre capacité de généralisation des architectures découvertes. Pour résoudre ces deux problèmes, nous proposons une méthode de régularisation simple mais efficace, appelée Beta-Decay, destinée à régulariser le processus de recherche dans les méthodes NAS basées sur DARTS. Plus précisément, la régularisation Beta-Decay impose des contraintes afin de limiter à la fois la valeur et la variance des paramètres d'architecture activés, empêchant ainsi qu'ils ne deviennent trop élevés. Par ailleurs, nous fournissons une analyse théorique approfondie de son fonctionnement et de ses fondements. Les résultats expérimentaux sur NAS-Bench-201 montrent que notre méthode contribue à stabiliser le processus de recherche et à améliorer la transférabilité du réseau découvert sur différents jeux de données. En outre, notre schéma de recherche présente une propriété remarquable : une faible dépendance vis-à-vis du temps d'entraînement et de la quantité de données. Des expérimentations complètes menées sur divers espaces de recherche et jeux de données confirment l'efficacité du méthode proposée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp