$β$-DARTS: Beta-Zerfall-Regularisierung für differenzierbare Architektursuche

Neural Architecture Search (NAS) hat in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen, da er die automatische Gestaltung tiefer neuronalen Netze ermöglicht. Unter den verschiedenen Ansätzen haben differenzielle NAS-Methoden wie DARTS aufgrund ihrer hohen Sucheffizienz an Beliebtheit gewonnen. Allerdings leiden sie an zwei zentralen Problemen: einer geringen Robustheit gegenüber Leistungseinbrüchen und einer schlechten Generalisierbarkeit der gefundenen Architekturen. Um diese beiden Herausforderungen zu bewältigen, wird eine einfache, aber effiziente Regularisierungsmethode vorgestellt, die als Beta-Decay bezeichnet wird und den Suchprozess in DARTS-basierten NAS-Ansätzen regularisiert. Konkret kann die Beta-Decay-Regularisierung Einschränkungen auf die Werte und Varianzen der aktivierten Architekturparameter anwenden, um deren Übersteigerung zu verhindern. Darüber hinaus liefern wir eine detaillierte theoretische Analyse, die erklärt, wie und warum die Methode funktioniert. Experimentelle Ergebnisse auf NAS-Bench-201 zeigen, dass unser vorgeschlagenes Verfahren den Suchprozess stabilisiert und die Übertragbarkeit der gefundenen Netzwerke auf verschiedene Datensätze verbessert. Zudem zeigt unsere Suchstrategie eine bemerkenswerte Eigenschaft: Sie ist weniger abhängig von der Trainingszeit und der Datenmenge. Umfassende Experimente an verschiedenen Suchräumen und Datensätzen bestätigen die Wirksamkeit der vorgeschlagenen Methode.