Shapley-NAS : Découverte de la contribution des opérations pour la recherche d'architecture neuronale

Dans cet article, nous proposons une méthode fondée sur la valeur de Shapley pour évaluer la contribution des opérations (Shapley-NAS) dans le cadre de la recherche d'architectures neuronales. La recherche d'architectures différentiable (DARTS) obtient des architectures optimales en optimisant les paramètres d'architecture par descente de gradient, ce qui réduit considérablement le coût de recherche. Toutefois, l'amplitude des paramètres d'architecture mis à jour par descente de gradient ne reflète pas fidèlement l'importance réelle des opérations par rapport à la performance sur la tâche, ce qui nuit à l'efficacité des architectures obtenues. À l'inverse, nous proposons d'évaluer l'influence directe des opérations sur la précision de validation. Pour tenir compte des relations complexes entre les composants du supernet, nous utilisons la valeur de Shapley afin de quantifier leurs contributions marginales en considérant toutes les combinaisons possibles. Plus précisément, nous optimisons itérativement les poids du supernet et mettons à jour les paramètres d'architecture en évaluant les contributions des opérations via la valeur de Shapley, de manière à déduire les architectures optimales en sélectionnant les opérations qui contribuent significativement à la tâche. Étant donné que le calcul exact de la valeur de Shapley est un problème NP-dur, nous employons un algorithme basé sur l'échantillonnage de Monte-Carlo avec troncature précoce pour une approximation efficace, et nous introduisons un mécanisme de mise à jour par momentum afin de réduire les fluctuations du processus d'échantillonnage. Des expériences étendues sur diverses bases de données et espaces de recherche montrent que notre méthode Shapley-NAS surpasse de manière significative les approches de pointe, tout en maintenant un coût de recherche faible. Le code est disponible à l'adresse suivante : https://github.com/Euphoria16/Shapley-NAS.git