DARTS-PRIME: Regularisierung und Scheduling verbessern die eingeschränkte Optimierung in differentiable NAS

Differentiable Architecture Search (DARTS) ist eine neuere Methode des Neural Architecture Search (NAS), die auf einer differentiierbaren Relaxierung basiert. Aufgrund ihres Erfolgs wurden in letzter Zeit zahlreiche Varianten vorgeschlagen, die einzelne Komponenten des DARTS-Rahmens analysieren und verbessern. Unter Betrachtung des Problems als konstruierte Bilevel-Optimierung präsentieren und analysieren wir DARTS-PRIME, eine Variante mit Verbesserungen im Update-Scheduling architektonischer Gewichte sowie einer Regularisierung zur Förderung einer gut getrennten Diskretisierung. Wir schlagen einen dynamischen Update-Plan vor, der auf informationsreichen Netzwerkdaten pro Minibatch basiert, um die Architektur-Updates besser informiert zu gestalten, sowie eine Nähe-Regulierung, die eine gut getrennte Diskretisierung fördert. Unsere Ergebnisse in mehreren Anwendungsdomänen zeigen, dass DARTS-PRIME sowohl die Leistung als auch die Zuverlässigkeit verbessert und damit mit den derzeit besten Ansätzen im differentiellen NAS konkurrieren kann.