Fair DARTS : Élimination des avantages injustes dans la recherche d'architecture différentiable

La recherche d’architecture différentiable (DARTS) est désormais une méthode largement répandue de recherche d’architecture de réseaux de neurones basée sur le partage de poids. Toutefois, elle souffre d’un problème bien connu de dégradation des performances, dû à une aggregation inévitable de connexions de saut (skip connections). Dans cet article, nous révétons d’abord que la cause fondamentale réside dans un avantage injuste dans une compétition exclusive. À travers des expériences, nous montrons que si l’une quelconque des deux conditions sous-jacentes est rompue, la dégradation disparaît. À partir de cette observation, nous proposons une nouvelle approche appelée Fair DARTS, dans laquelle la compétition exclusive est remplacée par une collaboration. Plus précisément, nous rendons les poids architecturaux de chaque opération indépendants des autres. Toutefois, un problème important subsiste : le décalage lié à la discrétisation. Nous introduisons alors une perte zéro-unne afin de pousser les poids architecturaux vers zéro ou un, ce qui approche une solution multi-hot attendue. Nos expériences ont été menées sur deux espaces de recherche couramment utilisés, et nous obtenons de nouveaux résultats de pointe sur CIFAR-10 et ImageNet. Le code source est disponible à l’adresse suivante : https://github.com/xiaomi-automl/fairdarts.