DARTS- : Sortir robustement de l'effondrement des performances sans indicateurs

Malgré le développement rapide de la recherche d’architecture différentiable (DARTS), celle-ci souffre d’une instabilité de performance ancienne, qui limite fortement son application. Les méthodes existantes de renforcement de la robustesse s’appuient sur les symptômes d’un comportement dégradé, plutôt que d’identifier la cause fondamentale de ce phénomène. Divers indicateurs, tels que les valeurs propres de la matrice de Hesse, ont été proposés comme signaux pour interrompre la recherche avant la défaillance des performances. Toutefois, ces approches basées sur des indicateurs ont tendance à rejeter injustement de bonnes architectures si les seuils sont mal définis, d’autant plus que la recherche est intrinsèquement bruitée. Dans cet article, nous adoptons une approche plus subtile et directe pour résoudre ce problème de défaillance. Nous démontrons d’abord que les connexions skip présentent un avantage clair par rapport aux autres opérations candidates, car elles peuvent facilement se remettre d’un état défavorable et devenir dominantes. Nous supposons que ce privilège est à l’origine de la dégradation des performances. Par conséquent, nous proposons d’extraire cet avantage en introduisant une connexion skip auxiliaire, afin d’assurer une concurrence équitable entre toutes les opérations. Nous appelons cette méthode DARTS-. Des expériences étendues sur diverses bases de données montrent que cette approche améliore de manière significative la robustesse. Notre code est disponible à l’adresse suivante : https://github.com/Meituan-AutoML/DARTS- .