DU-DARTS : Réduction de l'incertitude dans la recherche d'architecture différentiable

La recherche d'architecture neuronale différentiable (DARTS) attire récemment beaucoup d'attention scientifique en raison de son efficacité élevée. Toutefois, la compétition entre les opérations candidates dans DARTS introduit une incertitude importante dans la sélection de l'opération véritablement pertinente, entraînant ainsi un déclin sévère des performances. Dans ce travail, nous réduisons l'incertitude de la recherche d'architecture différentiable (DU-DARTS) en contraindre la distribution des paramètres d'architecture à converger vers une distribution catégorielle one-hot, et en remplaçant l'opération nulle par un interrupteur à porte (gate switch). Sans coût supplémentaire de recherche, notre méthode atteint des performances de pointe avec des taux d'erreur de test respectivement de 2,32 %, 16,74 % et 24,1 % sur les jeux de données CIFAR-10, CIFAR-100 et ImageNet. En outre, DU-DARTS parvient à trouver de manière robuste une excellente architecture sur NAS-Bench-1Shot1 et NAS-Bench-201, ce qui démontre davantage l'efficacité de notre approche. Le code source est disponible à l'adresse suivante : https://github.com/ShunLu91/DU-DARTS.