HyperAIHyperAI

Command Palette

Search for a command to run...

DARTS-PRIME: Regularisierung und Scheduling verbessern die eingeschränkte Optimierung in differentiable NAS

Kaitlin Maile Erwan Lecarpentier Hervé Luga Dennis G. Wilson

Zusammenfassung

Differentiable Architecture Search (DARTS) ist eine neuere Methode des Neural Architecture Search (NAS), die auf einer differentiierbaren Relaxierung basiert. Aufgrund ihres Erfolgs wurden in letzter Zeit zahlreiche Varianten vorgeschlagen, die einzelne Komponenten des DARTS-Rahmens analysieren und verbessern. Unter Betrachtung des Problems als konstruierte Bilevel-Optimierung präsentieren und analysieren wir DARTS-PRIME, eine Variante mit Verbesserungen im Update-Scheduling architektonischer Gewichte sowie einer Regularisierung zur Förderung einer gut getrennten Diskretisierung. Wir schlagen einen dynamischen Update-Plan vor, der auf informationsreichen Netzwerkdaten pro Minibatch basiert, um die Architektur-Updates besser informiert zu gestalten, sowie eine Nähe-Regulierung, die eine gut getrennte Diskretisierung fördert. Unsere Ergebnisse in mehreren Anwendungsdomänen zeigen, dass DARTS-PRIME sowohl die Leistung als auch die Zuverlässigkeit verbessert und damit mit den derzeit besten Ansätzen im differentiellen NAS konkurrieren kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DARTS-PRIME: Regularisierung und Scheduling verbessern die eingeschränkte Optimierung in differentiable NAS | Paper | HyperAI