Bonsai-Net: One-Shot Neural Architecture Search mittels differenzierbarer Pruner

One-Shot Neural Architecture Search (NAS) zielt darauf ab, die rechnerischen Kosten für die Entdeckung state-of-the-art-Modelle zu minimieren. In den letzten zwölf Monaten wurde jedoch auf die vergleichbare Leistung von naiven zufälligen Suchverfahren in denselben Suchräumen hingewiesen, die auch von führenden NAS-Algorithmen verwendet werden. Um diesem Phänomen entgegenzuwirken, untersuchen wir die Auswirkungen einer starken Erweiterung des NAS-Suchraums und präsentieren Bonsai-Net, eine effiziente One-Shot-NAS-Methode zur Exploration unseres erweiterten Suchraums. Bonsai-Net basiert auf einem modifizierten differentialen Pruner und kann konsistent state-of-the-art-Architekturen finden, die signifikant besser sind als zufällige Suche und zudem deutlich weniger Parameter als andere state-of-the-art-Methoden erfordern. Zudem führt Bonsai-Net die Architekturensuche und das Training gleichzeitig durch, wodurch die Gesamtzeit zur Generierung vollständig trainierter Modelle von Grund auf erheblich verkürzt wird.