HyperAIHyperAI

Command Palette

Search for a command to run...

Bonsai-Net: One-Shot Neural Architecture Search mittels differenzierbarer Pruner

Rob Geada Dennis Prangle Andrew Stephen McGough

Zusammenfassung

One-Shot Neural Architecture Search (NAS) zielt darauf ab, die rechnerischen Kosten für die Entdeckung state-of-the-art-Modelle zu minimieren. In den letzten zwölf Monaten wurde jedoch auf die vergleichbare Leistung von naiven zufälligen Suchverfahren in denselben Suchräumen hingewiesen, die auch von führenden NAS-Algorithmen verwendet werden. Um diesem Phänomen entgegenzuwirken, untersuchen wir die Auswirkungen einer starken Erweiterung des NAS-Suchraums und präsentieren Bonsai-Net, eine effiziente One-Shot-NAS-Methode zur Exploration unseres erweiterten Suchraums. Bonsai-Net basiert auf einem modifizierten differentialen Pruner und kann konsistent state-of-the-art-Architekturen finden, die signifikant besser sind als zufällige Suche und zudem deutlich weniger Parameter als andere state-of-the-art-Methoden erfordern. Zudem führt Bonsai-Net die Architekturensuche und das Training gleichzeitig durch, wodurch die Gesamtzeit zur Generierung vollständig trainierter Modelle von Grund auf erheblich verkürzt wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp