HyperAIHyperAI

Command Palette

Search for a command to run...

PRE-NAS: Predictor-gestützter evolutionärer neuronaler Architektursuchalgorithmus

Yameng Peng Andy Song Vic Ciesielski Haytham M. Fayek Xiaojun Chang

Zusammenfassung

Neural Architecture Search (NAS) zielt darauf ab, die Architektur-Engineering-Prozesse in neuronalen Netzen zu automatisieren. Dies erfordert oft einen hohen Rechenaufwand, da während des Suchprozesses eine Vielzahl von Kandidatennetzen aus dem gesamten möglichen Suchraum bewertet werden muss. Die Vorhersage der Leistungsfähigkeit dieser Netze kann diesen hohen Rechenaufwand verringern, indem die Notwendigkeit entfällt, jedes Kandidatennetz explizit zu evaluieren. Die Entwicklung eines solchen Vorhersagemodells erfordert typischerweise eine große Anzahl bereits evaluerter Architekturen, die schwer zugänglich sein können. Um dieses Problem anzugehen, schlagen wir eine neuartige, evolutionär basierte NAS-Strategie vor: den Predictor-assisted E-NAS (PRE-NAS), der bereits mit einer äußerst geringen Anzahl evaluerter Architekturen hervorragende Ergebnisse erzielt. PRE-NAS nutzt neue evolutionäre Suchstrategien und integriert eine hochgenaue Gewichtsvererbung über die Generationen hinweg. Im Gegensatz zu One-Shot-Strategien, die aufgrund von Gewichtsteilung möglicherweise systematische Verzerrungen bei der Bewertung aufweisen, sind die Nachkommenkandidaten in PRE-NAS topologisch homogen. Dies vermeidet Verzerrungen und führt zu präziseren Vorhersagen. Umfangreiche Experimente auf den NAS-Bench-201- und DARTS-Suchräumen zeigen, dass PRE-NAS state-of-the-art NAS-Methoden übertrifft. Mit lediglich einer einzigen GPU, die 0,6 Tage lang sucht, kann PRE-NAS eine konkurrenzfähige Architektur finden, die auf CIFAR-10 eine Testfehlerquote von 2,40 % und auf ImageNet eine von 24 % erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PRE-NAS: Predictor-gestützter evolutionärer neuronaler Architektursuchalgorithmus | Paper | HyperAI