HyperAIHyperAI

Command Palette

Search for a command to run...

Shapley-NAS: Entdeckung des Beitrags von Operationen für das Neuronale Architektursuchen

Han Xiao Ziwei Wang Zheng Zhu Jie Zhou Jiwen Lu

Zusammenfassung

In diesem Artikel stellen wir eine auf der Shapley-Wert-Methode basierende Methode zur Bewertung des Operationsbeitrags (Shapley-NAS) für die neuronale Architektursuche vor. Differenzierbare Architektursuche (DARTS) ermittelt optimale Architekturen durch die Optimierung der Architekturparameter mittels Gradientenabstieg, wodurch die Suchkosten erheblich reduziert werden. Allerdings spiegelt die Größe der durch Gradientenabstieg aktualisierten Architekturparameter nicht korrekt die tatsächliche Bedeutung der Operationen für die Aufgabenleistung wider, was die Wirksamkeit der resultierenden Architekturen beeinträchtigt. Im Gegensatz dazu schlagen wir vor, den direkten Einfluss der Operationen auf die Validierungsgenauigkeit zu bewerten. Um die komplexen Beziehungen zwischen den Komponenten des Supernetzes zu berücksichtigen, nutzen wir den Shapley-Wert, um deren marginale Beiträge unter Berücksichtigung aller möglichen Kombinationen zu quantifizieren. Konkret optimieren wir iterativ die Gewichte des Supernetzes und aktualisieren die Architekturparameter, indem wir die Operationsbeiträge über den Shapley-Wert bewerten, sodass die optimalen Architekturen durch Auswahl der Operationen ermittelt werden, die signifikant zur Aufgabenleistung beitragen. Da die exakte Berechnung des Shapley-Werts NP-schwer ist, verwenden wir einen auf Monte-Carlo-Sampling basierenden Algorithmus mit frühzeitiger Trunkierung zur effizienten Approximation und integrieren ein Impuls-Update-Mechanismus, um die Schwankungen im Sampling-Prozess zu verringern. Umfangreiche Experimente auf verschiedenen Datensätzen und Suchräumen zeigen, dass unsere Shapley-NAS die derzeit besten Methoden mit einer deutlichen Verbesserung bei geringen Suchkosten übertrifft. Der Quellcode ist unter https://github.com/Euphoria16/Shapley-NAS.git verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp