Shapley-NAS: Entdeckung des Beitrags von Operationen für das Neuronale Architektursuchen

In diesem Artikel stellen wir eine auf der Shapley-Wert-Methode basierende Methode zur Bewertung des Operationsbeitrags (Shapley-NAS) für die neuronale Architektursuche vor. Differenzierbare Architektursuche (DARTS) ermittelt optimale Architekturen durch die Optimierung der Architekturparameter mittels Gradientenabstieg, wodurch die Suchkosten erheblich reduziert werden. Allerdings spiegelt die Größe der durch Gradientenabstieg aktualisierten Architekturparameter nicht korrekt die tatsächliche Bedeutung der Operationen für die Aufgabenleistung wider, was die Wirksamkeit der resultierenden Architekturen beeinträchtigt. Im Gegensatz dazu schlagen wir vor, den direkten Einfluss der Operationen auf die Validierungsgenauigkeit zu bewerten. Um die komplexen Beziehungen zwischen den Komponenten des Supernetzes zu berücksichtigen, nutzen wir den Shapley-Wert, um deren marginale Beiträge unter Berücksichtigung aller möglichen Kombinationen zu quantifizieren. Konkret optimieren wir iterativ die Gewichte des Supernetzes und aktualisieren die Architekturparameter, indem wir die Operationsbeiträge über den Shapley-Wert bewerten, sodass die optimalen Architekturen durch Auswahl der Operationen ermittelt werden, die signifikant zur Aufgabenleistung beitragen. Da die exakte Berechnung des Shapley-Werts NP-schwer ist, verwenden wir einen auf Monte-Carlo-Sampling basierenden Algorithmus mit frühzeitiger Trunkierung zur effizienten Approximation und integrieren ein Impuls-Update-Mechanismus, um die Schwankungen im Sampling-Prozess zu verringern. Umfangreiche Experimente auf verschiedenen Datensätzen und Suchräumen zeigen, dass unsere Shapley-NAS die derzeit besten Methoden mit einer deutlichen Verbesserung bei geringen Suchkosten übertrifft. Der Quellcode ist unter https://github.com/Euphoria16/Shapley-NAS.git verfügbar.