DARTS-: Robustes Herausgehen aus der Leistungseinbruch-Situation ohne Indikatoren

Trotz der schnellen Entwicklung des differentiellen Architektursuchverfahrens (DARTS) leidet es an einer lang bestehenden Instabilität der Leistung, die dessen Anwendung erheblich einschränkt. Bestehende Methoden zur Verbesserung der Robustheit ziehen ihre Hinweise aus dem resultierenden Leistungsabfall, statt den zugrunde liegenden Ursachen nachzugehen. Verschiedene Indikatoren, wie Eigenwerte der Hessematrix, wurden vorgeschlagen, um die Suche vor einem vollständigen Leistungsabsturz zu beenden. Allerdings neigen diese auf Indikatoren basierende Ansätze dazu, gute Architekturen leicht abzulehnen, wenn die Schwellenwerte ungünstig gewählt sind, ganz abgesehen davon, dass die Suche intrinsisch geräuschbehaftet ist. In diesem Artikel verfolgen wir einen feineren und direkteren Ansatz zur Lösung des Problems des Leistungsabfalls. Zunächst zeigen wir, dass Sprungverbindungen (skip connections) gegenüber anderen Kandidatenoperationen deutliche Vorteile besitzen, da sie sich leicht aus einem nachteilhaften Zustand erholen und dominieren können. Wir vermuten, dass dieses Vorrecht für den Leistungsabfall verantwortlich ist. Daher schlagen wir vor, diesen Vorteil durch eine zusätzliche, Hilfs-Sprungverbindung zu separieren, um allen Operationen einen fairen Wettbewerb zu ermöglichen. Wir bezeichnen diesen Ansatz als DARTS-. Umfangreiche Experimente auf verschiedenen Datensätzen bestätigen, dass die Robustheit erheblich gesteigert wird. Unser Quellcode ist unter https://github.com/Meituan-AutoML/DARTS- verfügbar.