DARTS-PRIME : la régularisation et la planification améliorent l'optimisation contrainte dans le NAS différentiable

La Recherche d'Architecture Différentiable (DARTS) est une méthode récente de recherche d'architecture de réseaux de neurones (NAS) fondée sur une relaxation différentiable. En raison de ses succès, de nombreuses variantes visant à analyser et améliorer certaines composantes du cadre DARTS ont récemment été proposées. En reformulant le problème comme une optimisation bilevel contrainte, nous présentons et analysons DARTS-PRIME, une variante intégrant des améliorations dans la planification de la mise à jour des poids architecturaux et une régularisation visant à favoriser une discrétisation adéquate. Nous proposons une stratégie dynamique de mise à jour basée sur des informations par mini-batch du réseau, afin de rendre les mises à jour architecturales plus informées, ainsi qu'une régularisation de proximité visant à promouvoir une discrétisation bien séparée. Nos résultats obtenus dans plusieurs domaines montrent que DARTS-PRIME améliore à la fois la performance et la fiabilité, atteignant des performances comparables aux états de l'art dans le domaine de la NAS différentiable.