HyperAIHyperAI
il y a 17 jours

$β$-DARTS : Régularisation par désintégration bêta pour la recherche d'architecture différentiable

Peng Ye, Baopu Li, Yikang Li, Tao Chen, Jiayuan Fan, Wanli Ouyang
$β$-DARTS : Régularisation par désintégration bêta pour la recherche d'architecture différentiable
Résumé

La recherche d'architecture neuronale (Neural Architecture Search, NAS) a suscité un intérêt croissant ces dernières années en raison de sa capacité à concevoir automatiquement des réseaux de neurones profonds. Parmi les approches proposées, celles basées sur la différentiation, telles que DARTS, ont gagné en popularité grâce à leur efficacité de recherche. Toutefois, elles souffrent de deux principaux défauts : une faible robustesse face à la dégradation de performance (performance collapse) et une médiocre capacité de généralisation des architectures découvertes. Pour résoudre ces deux problèmes, nous proposons une méthode de régularisation simple mais efficace, appelée Beta-Decay, destinée à régulariser le processus de recherche dans les méthodes NAS basées sur DARTS. Plus précisément, la régularisation Beta-Decay impose des contraintes afin de limiter à la fois la valeur et la variance des paramètres d'architecture activés, empêchant ainsi qu'ils ne deviennent trop élevés. Par ailleurs, nous fournissons une analyse théorique approfondie de son fonctionnement et de ses fondements. Les résultats expérimentaux sur NAS-Bench-201 montrent que notre méthode contribue à stabiliser le processus de recherche et à améliorer la transférabilité du réseau découvert sur différents jeux de données. En outre, notre schéma de recherche présente une propriété remarquable : une faible dépendance vis-à-vis du temps d'entraînement et de la quantité de données. Des expérimentations complètes menées sur divers espaces de recherche et jeux de données confirment l'efficacité du méthode proposée.

$β$-DARTS : Régularisation par désintégration bêta pour la recherche d'architecture différentiable | Articles de recherche récents | HyperAI