HyperAIHyperAI

Command Palette

Search for a command to run...

DARTS-: Robustes Herausgehen aus der Leistungseinbruch-Situation ohne Indikatoren

Xiangxiang Chu Xiaoxing Wang Bo Zhang Shun Lu Xiaolin Wei Junchi Yan

Zusammenfassung

Trotz der schnellen Entwicklung des differentiellen Architektursuchverfahrens (DARTS) leidet es an einer lang bestehenden Instabilität der Leistung, die dessen Anwendung erheblich einschränkt. Bestehende Methoden zur Verbesserung der Robustheit ziehen ihre Hinweise aus dem resultierenden Leistungsabfall, statt den zugrunde liegenden Ursachen nachzugehen. Verschiedene Indikatoren, wie Eigenwerte der Hessematrix, wurden vorgeschlagen, um die Suche vor einem vollständigen Leistungsabsturz zu beenden. Allerdings neigen diese auf Indikatoren basierende Ansätze dazu, gute Architekturen leicht abzulehnen, wenn die Schwellenwerte ungünstig gewählt sind, ganz abgesehen davon, dass die Suche intrinsisch geräuschbehaftet ist. In diesem Artikel verfolgen wir einen feineren und direkteren Ansatz zur Lösung des Problems des Leistungsabfalls. Zunächst zeigen wir, dass Sprungverbindungen (skip connections) gegenüber anderen Kandidatenoperationen deutliche Vorteile besitzen, da sie sich leicht aus einem nachteilhaften Zustand erholen und dominieren können. Wir vermuten, dass dieses Vorrecht für den Leistungsabfall verantwortlich ist. Daher schlagen wir vor, diesen Vorteil durch eine zusätzliche, Hilfs-Sprungverbindung zu separieren, um allen Operationen einen fairen Wettbewerb zu ermöglichen. Wir bezeichnen diesen Ansatz als DARTS-. Umfangreiche Experimente auf verschiedenen Datensätzen bestätigen, dass die Robustheit erheblich gesteigert wird. Unser Quellcode ist unter https://github.com/Meituan-AutoML/DARTS- verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DARTS-: Robustes Herausgehen aus der Leistungseinbruch-Situation ohne Indikatoren | Paper | HyperAI