HyperAIHyperAI

Command Palette

Search for a command to run...

βββ-DARTS: Beta-Zerfall-Regularisierung für differenzierbare Architektursuche

Peng Ye Baopu Li Yikang Li Tao Chen Jiayuan Fan Wanli Ouyang

Zusammenfassung

Neural Architecture Search (NAS) hat in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen, da er die automatische Gestaltung tiefer neuronalen Netze ermöglicht. Unter den verschiedenen Ansätzen haben differenzielle NAS-Methoden wie DARTS aufgrund ihrer hohen Sucheffizienz an Beliebtheit gewonnen. Allerdings leiden sie an zwei zentralen Problemen: einer geringen Robustheit gegenüber Leistungseinbrüchen und einer schlechten Generalisierbarkeit der gefundenen Architekturen. Um diese beiden Herausforderungen zu bewältigen, wird eine einfache, aber effiziente Regularisierungsmethode vorgestellt, die als Beta-Decay bezeichnet wird und den Suchprozess in DARTS-basierten NAS-Ansätzen regularisiert. Konkret kann die Beta-Decay-Regularisierung Einschränkungen auf die Werte und Varianzen der aktivierten Architekturparameter anwenden, um deren Übersteigerung zu verhindern. Darüber hinaus liefern wir eine detaillierte theoretische Analyse, die erklärt, wie und warum die Methode funktioniert. Experimentelle Ergebnisse auf NAS-Bench-201 zeigen, dass unser vorgeschlagenes Verfahren den Suchprozess stabilisiert und die Übertragbarkeit der gefundenen Netzwerke auf verschiedene Datensätze verbessert. Zudem zeigt unsere Suchstrategie eine bemerkenswerte Eigenschaft: Sie ist weniger abhängig von der Trainingszeit und der Datenmenge. Umfassende Experimente an verschiedenen Suchräumen und Datensätzen bestätigen die Wirksamkeit der vorgeschlagenen Methode.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp